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ABSTRA':rr 
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on program factors. The fifth section provides a background and 
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review of literature; 28 referents are listed. The sixth section 
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defining evaluation, its purposes, data gathering methods and tools, 
data analysis, and tools for communicating the findings. Thirteen 
references on program evaluation are provided. (KC) 
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1 . Introduction to this hiandbooic 

Program evaluation can be omx^lax and intunidating. This handbodc is based 
on the fidlowingamimiitioiffi: 

• YoaVe<tedded,fi]r whatever rwim, that pn^pramevaiua^cm may be 
uaeftil to you ami your program. 

• You are an authority on evaluation and mi^^t want smne theoretical 
and/or practical advke. 

• You are not an espert on workptoce literacy ami want scmie ideas about 
thefidd. 

• You mi^tm^redate8«ii»que8tiois to focus your thoughts ahimt the 

This handbook (mly coQtains suggpos^ns and advice. The following limita- 
tions must be acknowledged: 

• There is no cme way to evaluate an educa ^ cmal program; evaluation can 
take a variety of fbrms. 

• EvaluaU<m<»m be fannalan€i^r informal; this document fo^^ 
formal evaluation. 

• Woriq)laoeUteragr]m)grams come in a wide variety of fi»ini^ 
be generalizi^le to sumy formats. 
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2. Introduction to Workplace Literacy 



Terms and DcBnWons 

• bamc rrading, writing and computaticm skills. 

• reding skills thai give pef^lepowo- over their own lives. 

• banc ocanmunicaiion ai^ reasoning skills. 

• 'TiftrrmntfTin iwmmniiing 

• iMttic skills iiffitrusUfm ill the workidaee. 

• bade rmffing and writing i&illste the workplace. 

• ftiBctloiiallitaraQrinatnicUimfis'thewor^laee. 

• advanced Utmcgrinstnictlim in job tnitiilng. 

• work-^aellteliterw^iDs^n^fmforthewQrMaoe. 

Fcr imzpoaes ol this doeiinmty the term ^vos^tOace Uterac^ encom- 
passes the ontire range of posdbilities. 

Programming Variety 

Worlqilaee Uterai^ programs vaxy gTMtJy dQ)ending on Uie eoQie^ 
limitations 

• the initiator, e,g, a trai^ union, managenrant, an educational Institution, 
an in^ructional methoddogy group such as Laubach Literacy. 

• the sponsor offinandal, material and instructional resources. 

• the participants and their needs for literacy in^rucUon. 

• the level of literacy instruction, ie. basic, functional or advanced. 

• the materials and content used, i.e. woi^-related w non-work-specific. 

• such details as time frames, location (on-site/ofif-site), volunteer or paid 
staff. 

Thus, workplace literacy programming can be: 

• voluntary or compulsory for employees. 



• stafiM by vdimtewtutm or paid instructors. 

• organiysed ly labour imioDS, comnmni^ and v o cat io nal colleges, 
imifoadcmai training amsoltanls, aduH Utaracy organizatimis, school 
bMtfdB,andBo<m. 

• diort^em or o ngo i ng. 

• fm-^teoroff-ate. 

• ofoad during woridnghoure or on the einplajee's own tl^ 
combiniitoi of bolh. 

• raatrictedtoeniiiloiyeasfmfyffiropentofaQilliea. 

• offffivdficr ^>edficoccu{mtiimal levels (»* open across levels. 

• foca8ed<mwtffkHrdated reading on^(r on gKieralrmB^ 
This list can go on and onl 

Questions to fMus your thoughts 

^ Ifyouaow involved with or Goi)^dering a workplm liters prograni, 
how would you describe it? 

Who is the program for and ^o stands the most to gain by It? 
M» Who is sponsoring it and idiat are the expectations? 
What are the instructional levels and ^)proaches? 
Were these consdous dimc^? Were you aware d the alternatives? 
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Stakeheicters tn Workplace Utaracy Program 



The stak^olders omifHise a vari^ of individuals and agandes who make 

Gon^wtored ivlian 0iraliii^ii^ B prcgrain: 

• the pc^enUal tearnars who may or may not choose to jnrtidpate. 

• the Mtualtoamm who may or miOrncA choose to amtinueparti^iation. 

• the inslnicton and tutoTB often detmninelMuningma^ 
methods. 

• the irogramadminiatratorosHio manage human and finandd 
aiui w1k> have raqpMBdblUty fir {banning. 

• the labour leaders wiw may or may not endcyee pn^yaniroing. 

• the oorporatemanagBnentidilch may initiate or tenninate a program 
<«* its involven»nt in it» at ai^ tima 

• theftuMiers^ii^iMedtoaeooimtforeiqieaditures. 

• the legislatm«dboi»edtoJus^dedsiQn8 to the public. 

Eadi has a purpose in wanUng to know about the outcomes i^a given pro- 
gram, reasons relating to th^ own imndvemsnt in the program. 

liNi^ Question to focus your thoughte 

Who are the specific stakeholders in your pn^iram? 
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Good PracBee in Workplace Utfacy 

Thm are nostandar^of oiedlence thalean be applied to aU the wide 
viffiety ftf ^egrams whkh m labeled worMace litenMy programs. Attmpts 
to develop recmmii»idatifmB fbr iBDod pract^ 
suggesticmB ftripiaUty j^ograms. 

• Beth the goals and pn^iected results for the compaxiy and for 
partidpating mni^oyees are dearly stated. 

• The program has active sui^xat of U^level management. 

• Emi^oyersiisereauitingteclmiqm^cfaarei^IK^^ 
«n|^craeB thigr wish to Mdi. 

• The planniiig and ong(^ operation of the i^nogramhivdveB 
management, human rracmree development peraonnd (if applicable), 
mipefvisore ax^ wwtes. 

• Explidt standards are used for measuring 2»ogram success. This 
infonnation is shared with participating employees wad determixied with 
the Mp of their superdsora. 

• Pre-tests that simulatejob dtuations and taf>ks are used to diagz»)se 
employee needs and strengths axKi to guifb the devdopment of learning 
plans for partidp^ng employee*. 

• Employees' personal goals are solidted and incorpmted into learning 
plans. 

• Instructional methods, materials, and evaluation strategies are tied 
directly to learning goals. 

• Instructors know the basic aWUs needed to perform job tasks in the 
specific divimon or departmmit for which personnel will be trained. 

• Employees and supervisors gst frequent feedback on thdrprogrew and 
that progr^ is carefully documented. 

• Evaluation data are used to imiarove prqgpram effectiveness. Ptst-tests 
that dmulate job dtuations and tasks are used to measure learning. 

FrtmJt^relatedBtmcl^tUls: (ktmsandComiumonaiSiicki&Wkaletky, 
1984): 

• Training us^ job reeding and numeracy materials and tasks, because 
skills and knowledge are best learned if they are prramted in a omtext 
that is meaningful to the tmnees. 
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• Learning condi Ucma are ammged ao that the grwUa^ amomit <^ tin» 
pos^e is qmit with eadi trainee ae^v^ enga^ 

• TlM8Ull88i^]Qi0wbd0Btobet«iifi^tarerelatedtotl»persm 
ocoqEMltoiial aetliiig and mastery lev^ have been 

From an artide by Spikes and CmrneU (1887) abcmt^fective par- 
tidpatlim in trailing pragrams: 

• Thmiaapod^eoqdoyer/Bini^iyeerelatifmshipthaten^ 
eni^iyeeVi molivatloa* 

• TimreiaaaauraneeofjobashranennantiffikiUlevelBareatt^ 

• Indivfahial cwinarillng is ayailable ragardSng health, welfare hoiiring, 
day care^ pidlce and sdbtooling* 

From AT&T^ aqMiienoe with worti^bee lit«r»7 dtmnopyrt 19B4): 

• The program d^^ectives are meamirable; standards fen- program "Buccess** 
have been dearly identified at the outset, 

• Eralua^imofprogramefifeirdvenessiscaniedoiitina^yBtemaUc 
fashion, with contot>l groai» and other appropriate elements of good 
study design. 

• Pnsgramobjeeyi^ are adiievable,coitti^eflt with overaUcomj^^ 
ol:tieetii^ and tied to practical Im6ii»» ovitofmies. 

From the BuBinera Qmndl fbr Effective Utrnqy (1987): 

• The i^ogram is tau^t by well trained teachers. 

• The i^rogram is offered on cmnpaniy time. 

FromBa»e SkiUs Training — A Uam^ipadfor8ueee& m ^ Wori^ihce 
(Taylor & Lewe, 1990): 

• SucoeMlUl|ax)gramstmdtoberdeiwxttobotiieii^Qyer ai^eooi^ 
Thqy asnre ogganixationsl goals, ^Mha at tha same tip» bei^tttog the 
worker personally on thejd). 

• Innovative partxMrddps are producing sKen^laiy programs that can 
off«*new 

partnership, with each partis brini^ng a measure of expertise to 
conqilement the espwtise tiie <^lMr partimrs. 

Pteaae note U»t this list ts not necessarily contplete or l u - ewei ' lp it v e; it 
makes rdiarenoe to some v«!y different approaches to workplace Htera^ 



iiHi^ Fmus question 

m Do any of these rwxmmi^adationfi have par^ 
Which ones are absohiti^ unattainable for you? 
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Reasons tor Evaluating Worlqitect literBcy Prograiim 

ItisverydiflacaUttojiidffBCffamipar8wtfflqjlac»Ut«racyi^^ 
few evdiii^ r^M8t8 h8v« beeii polOished. A 
nmnding evaluation ami wc^[|^ace basic ^illsprt^^^ 
Secdcm 6. In idmrt, evaliiatkm is Qse^ 

• Todev^<9azidinq»iyvapn^prams. 

• To maintain or tenninate programs. 

PraetieaUy sp^iking, Umto are a nuinbw of good 

warlq>lace Utmqr pro-ams (CanMvaie, Gainer & Moltcer, 1990:86): 

• There is incraarfng pi wimft fhm top qaEBCM^YaB for aich pn^yams to 
jTOTO efiBMth«sM in nwMuraUo ter^ 

cmtribttte to the pn^taHli^ oCtbe orgaid^ 
BtrataG^ goals. 

• There is ix^r^sing pressure firom the training managers and trainees 
ttoms^ives to crititain belter nwasures of the effeets of the traii^. 

• A agn^em of erahiatlim protects the pn^ram from the inacteqp^ 
judgements of peofda who ha:ve no sdid information about results. 

• Organisations want to know abmit the relative ^Bactiveness irf their 
various deiwrtmesits, programs, and servkes. 

• Spedficmea8urem«3tsofa past program's sueo«m build credibility and 
can h^p secure fiinds to fhture lan^ects. 

• It is reasonable that evalua^on should be required of an adivity that 

• FinaUy, inchxding an evaluation system in the proposal to managemmit 
shows that you are amfident that you can toaonstrate the success of the 
janogram in meefels« its stated cfttfMyves. 

Certainly, there are many miHre reasfms evaluation. Some evaluations are 
simply numdatoiy; some are used foe deviims purposes. 

Focus questions 

n# What is your rea«m to reading about wodcplai» literacy evaluati<m? 
What purpose do you have in conducting a program evaluation? 
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3. Introduction to Formal Program 
Evaluation 

Ilie fidd of Ibrnml program evaiuatlim b spe^^ 

diHCiwffion of dirf^n^M»"«, piirpiwaa and cAhar d^^aila <»n be found in Section 6 
f^thisHandbodL. 



yyhat the Term "EvalMBon" Means 

To evaluate m^sm to detennine the value of something, individuals, 
XffognoDa or i»roducts, for eatemple. practical {nuposes, evalua^cm nuty be 
ikfiittd aa a thrBB-fifeef process: 

1. DsseriptkmaiidiiieBsiireoMait; 

2. Con^wrison; and 

3. Judgamsai. 

Practically ^leaking, evaluation is porfbrmed in the sorvice dedmon 
TiiA^wg ; thftTftfnm it Amid pawidfl infigmaiaonsi^iicii is useftil to the 
stakshoU^ Ded^ oil ol^^ 

tain, in^paxive or tenninate pat^ramg <ar ^eir involveniMit with mie. It stands 
to rmaon that aU ^ciri(m ii»km are koHng fiar demimfitray^ 
and success is measured diffmntly by «kch dedraim maker. 



iiifi^ Focus questions 

M#- If you are planxung a program evaluation, th^ m^jor questicm you 
should be addi^ is: WHO wants to kmrnndiat, and why? 

Are thore adequate resource (people, money, equipment, time) to 
undertake the evaluaticm? 



There is often resistance to formal programevaluaticm. The term "evaluation* 

to be a threatening one; formal program evaluation is dten feared or 
avc^ded. Axn^ diallrage fodngyou is toronove stsne of the fear and 
suspicion assodated with program review— fiear that n^ative conaequences 
will result. The best argum^it may be hom^ about the rmons for the 
evaluation. The best approadi may be to involve as many stakeholders as pos- 
sible. 



AppTMChosto Program Evaluation 



EvaliMtiim fwqcesses and outaraies are first d^mai^ 
the Gvsdua^on. 

Fhre csmaum appnm^ (Barak & Bnm, 1990) to evaluation are: 

CcmmhantHirinited, utUizingotpertoi^cms. 

Sum^-oriented, coiKiuctedbyaresrardi ^pedalist gathering opinion- 

Datft-<jsiented, on^cled a researdi ^)edaUs^ 
anaiyzlngdata. 

Self<^dy,condii^by!Krogrampartidi|»mts. 
CoDabination c^all of the above. 



iiH^ Focus question 

^ Whlfdia|^m»di do yon anticipate i2MDg,i^.wlu> is to con 
your evaluation? On what bams wimld you ju^fy tiiis 
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The EvaliMrtion ProcMS 



Slop 1: DesG^il^mHll^mmnma 

The first in the p rcgr a m evaluation process begins with data-gathering 
and exKls with two deecriptimis: the ^Intended" and the "actual." Data-gather- 
ing invd^ the coUecUcm of documents, stati^cs and opinicms; the next 
sectiim <€the hanaMMk is a discus^ of data-0i^^ 
methods. 

&»t deecr^^iim, a teor^jlifm of then&tmded,* is 

plaimiig&)WTm«mtisteei«iqple,thepn>gra^ 

needs asrama^ma^^^ngxnaterials, negotiated human aiulmataial 

rescHirces, orgwniMtiwml diart, jdb iteec^cms, axd advartod pi^tionB. A 
proUrahAsbeenideiitiMaiidtemttltliVpf^^ 

tho proMam. Thus, the plnnning ^fftf^**«^i»*» rfMmld inchida the fidlowing 

• AstatQiiieiitQfimrpo6e,Le.theniti(aial«forthapragrain. 

• Specific <^ail8oflocatSim»tibB»fhaneB,zmmb«r8 of learners, stafi^ 
spopsofsh^ 

• Program ol)|e^ive8,le.wliat is intended as an cmtcome for the students 
andtbefimders. 

• A dascripdim of th« client population, induding tl» percdved needs, 
abilities and saleetiim cr^eria. 

• The behavtoursidUGh^idents will be expected to danumstrate upon 
ctmpMm of the pn^wn, i.a the nui^ leamix^flt^ectives <^ the 
program. 

• Tbf* W«'"*"g yiMftariftla, methods and plana sidiich will enable the 
learners to Mhieve tiui jmigram goals, i.a the instrud^imal ol^Jec^ 

• A descriptiimoftheins^uctifmal staff; the eritsria^ their selection, the 
levdi of their iB»<program oompetmy, and the espected level of the 
cosxqMtei^ fdlowing any hi*service training. 

• A<bsc(ipticmofprogramrtaffiUnctioins,thenun^andtypei^ 
positions. 

• A(teserii^veliatofadmini8trativeBuppf^faciU^e8,matffiialB,and 
ecjuipmfflst. 

• The financial plan. 

• Strategic documents, Le. short- and long'toTn plans. 

From this infonnaUon, a description can be created of the ideal, the ^andards 
of acceptability or success which were intended at the outset. 



iio^ Focus quesUon 

M# Canycmaixiuireanc^tlusiiifonDal^ 

lOTgT ftT^ Bttwift rfthia infiarmaUon is not ayilabte? 

The seeing descriptiim, the current reality, Is obtained largdy throu^ meas- 

(Bee Sectkm 4). Sonw litfbnnatoi or data are gi^hfi^ 
ments, sQinfi throiii^ iniivldual of^i^ 

fffi^i-t^tfam nf qtwtiwNf^ rtatiBtfeal mBMurenwiite wfafeh will be ind qded 
in this eetonddescr^tiflo are attoMiancerat^a^tiwi rates, adiiev^^ 

nitea for in^vidnals, eo^ito rates per tinie fim 

ziecessazy . For all intents and purposes, the crea^cm of this second description 

is ^^lat many con^der to be fsragram evaluation; in reaUtif, it b 

This is thedata-i^or^i^ase. 

&^)2: Cmi^mbon 

When the two descriptions are con^il^ the next st^ is comparison. The 
descrii^on of the current cSrmmHtancffl can be conyared against one or more 
the following: 

• The internal staiuiardBofi»ogramol^^G^ve8 that define miocess for the 
various stakflhoidsrs. 

• R^a^^ standards or tlnaeafc^her similar programs. 

• Abec^testaiMiardsarslaxKiardsofexceUeneereaiiltii^fi^ 
e^Mdm«(itatto, coDsuha^ and oonsmmiB esparts in tlM fie^^ 

To date, no absolute stazKlards have been arteilated for w(^q>lace Uteray 

pragrama; however, the lisliiHr inSec^ 2 may beuseAiL It is al^ 

ficuH to draw ccm^Mtfisons with other programs aa fow evaloatian reports are 

published. Most pn^ram organizara most be — ai^ umiaUy are— sa^ed 
vnth an internal conqpariaim. This is the data-anala^ phase, i^e. lo(^^ 
the data in wf^ that lead to usefol OM^uMcms. Has the program doiw what it 
set out to do? Do the intemled outcome aiid tlM real oiitoQmes match? What 
conclufflons can be drawn about the success rfthe ja^am? What w<»>ked well 
and what didn't? What are the recommoMiatkms for ehangs? Should the ^xm- 
sor continue to ftind this program? 

The purpose the coixQ>aris(m is to look for diaerepand»s b^ween what was 
intended and has actualliy hai^mied, between what has occurred and 

^at would be ideal. Not all discrepandes indicate a problem. The discrepan- 
cy information becon^ feedback for the program or^uUzers, ^thor in the 
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femati^ sesifle of oometiiig wmkxMsses, or in t^^ 
jud^mient on fi prttgCBXsi. 

i;^ filial Step in th« {irocms of 0v«liuuang ^ 
about thft aeeei^iUlgr or wiffth of tiie ^:ogr^ 

ticmal evalua^ is a ^dMon as to how mt^ to pay attttitoi lo tiia rdi^ve 
and/or absfdute standards which ho^ been set in dedding Aether or 
take scsne administiraliva ai^im (Stake, 1967). 

The jndgepiMits and recommendatkms will be a significant portion of the 
evaluation r^Ksrt 

The Evaluatlen Report 

Hie outcomes of an evaluaticm pgpocedare nnist be cianm i i nii TWt ^^d to the 

r^vant stakshditors in an iqapit^iriate wiQT. The oontent 

be sra^tive to the needs of the iBtoksMffars, as nnist the fbnnat. 

With regard to content, an evaluation report xnay be Slnu^ured alimg the lines 
ofthefbllowing: 

1. Pntgram anderaluatiim overview 

2. BaekgrouiMl to tli» program 

• Origin ai»iratlimale 

• Goals and objeeUvoB 

• Charactarifltics 
w Studauts 

3. Description dTthe evaluation 

• Purpose 

• Design 

• Measures 

4. Results 

• Formal 

• Infcnmal 

5. Discussion of the results 
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6. C(»Mlum(niB ai^ recommeniiations 

• R^ardixig the program 

• RggW^ng Buhaaqnflnt evaluation 

llw waluaac® repeal diouW addrew some or aU rfth«» 
by Smith h St Mn, l^^i 

1 . How can ^ beat mrfflrstend what is hw«ai«« 

• What is the natora or character of the program? 

• What are the oo&cKUima and activities of the program? 

• What are the central issues, themes, conflicts, trade-<^? 

• What seems inqiortttU;? 

2. How cool J this program be made to wwk better? 

• Areresoureesbeii^usedf^^imaUy? 

• Where is there a optical lack dT&edbach? 

• What are the barriers to Improvem^t? 

• What are the critical weaknesses? 

3. What are the outcomes of the program? 

• what objee^ves are/are not b^ngn»t? 

• What *^de^fects^ does the istigrami^ppear to have? 

4. What important varia^ms are titere in the |»ogram's «:tivities or ^focts? 

• To what flortent are difiSBrentgroui»afiSBCtedh^di£fer«it ways? 

• In what ways has ti» program varied over time? 

• How do the program's resmirces, services, or outcosxm vary 
geograi^calfy? 

6. How worthwhile is the pn^iram? 

• Overall, how good is the program? 

• Is the program cost-effecti^? 
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4. Information Gathering and Analysis 



A great tad of iiifioma^ nmi^ gBllmd, in a vari^ of 

I^iaBea of a pfQgram QFcle in order to ooi^el a pros^^ 

a ntmdMT and notelgr flf sources of faaformatk^ 

number and wifflgr of n^ho^ of gathering data (aea Section ^. 1^ 

data iiidaefa nniat ba gatkerad nlata either to the envlrona^ 

C8S that have served to create Bxsd sustain the piY^^ram.tn' to th^ 

itself. 

Various factors in the oaviroanMnt ara: 

• Iheliteraqrreqiibroinffiiitsofagivenjob. 

• Iha literacy sidllsoftheworimrdUKUve to the job. 

• TbB general literacy skills dTthe employees. 

• Prq^etedcfaai^ in literaqrftomandsaiHlenqiloyee skills. 

• The resources av^lable to begin and sustahi a isrc^iram: 

• the financial rssouress 

• potenUal stuctent numb^ 

• human ea|>eryse and material resources 

• conmiitosent to success fitim the eoqiloyer and enqployees. 

Various program factors inchs^ 

• Student retenti<m and achievemwit. 

• Course oontoit and materials. 

• InstraetionaldedgnandlwiUngenvirfHmiMit. 

• InstructLonal, administrative axKi »ipport staff competence. 

• Program effectivesi^. 

Following is a variety of data-gathmig devices r^aUve to the various «wiron- 
mental and program factors. 
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Data Gathering Regardinfl Factors In th» Emylronmant 

PnvpowR 

To IdMitii^ the actual Utaracy requlrom 

Es^aogree, inaradiale suporvisor, onployar. 

BfeUiod: 

literacy audit. 

Tools: 

• Survejf/queaticmiiaincfeBq^loiym 

• Sumgr/questioiuiairaftfsupervisarandei^ 

• Observation for vorification and darificatiion 

• Taakanalsr^ 
Ontoomes: 

• AH^oftlwaetualreBdingMitingta^tobeuaedinaasasting 
empkgroe Utaracgr oompeteQce. 

• Knowledge c^thoMtualUteracyd^nands to be used for instructional 
purposes. 

• Awar^iess of the signiilcance o^literBcy to task completion in the 
worici^aoe. 

Sami^TDrfg and Processes; 

• Wo^laceUt«'acyAna|y^de7sl<q)edby: 

CASAS 

{Camjp^tAkmst/B Adult Student Asseaanmst System) 
2726 Om^resB Street* #1-M 
SanDi69[i,CA921ia 

• Literacy Task Analyas Process in: 

Drew, RJV. & Mikulecky, L. (1988). How to Gather and Develop Job 
Spe^UimvKyUftimiaU^BaMieSWlilnmTuawn. Bloomington, 
IN: Indiana University, School of Education, OfBce of Education and 
Training Resources. 
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Job and Utmcijr Task Analyds F)roc8S8 In: 
Taylcar, M.a ft Lem, G Jt (1990). Bame SkOU Trainings a lAmnek- 

Adult Ba^ Education D^Murtment. 
Job Analyse ai«l Needs ABaeBsnwnt CaMddteta in; 

avaUabtefrom: 
Guide Ordm 

APtrCIO Human Resmtrcea Develi^ment Inrtitute 
815 — 16 Stmt N.W. §4(^ 
Wtfhii^ton, D.a 20006 

Taflk Analy^ fVoeesB im 

Canwnmie, AJ*., GaSi^r, UJ. & Mdtor, A^. (19^). Wwi^j^ace Basics 
Tnaining Manual San Frandsoo: Jossij-BaM PubUabara. 

Organiaationai Neada Aacosgmont developad by: 

SueWaui^ 
150 Buskin Straat 
Ottawa ON 
K1Y4C1 



Purposes 

To d^ennlns if a dieo^mittgr exists betwm the 
and the litero^ ddUs of the emplo^t^. 

To idoitlfy potential sbitets. 
Soimses 

Targeted wcs^kera/employees, employee's supervise and peers. 
Metliod: 

• Adiievmenttes^ng 

• SurvejmsMUth 

• Needs asaeesniMDt. 
Tools: 

• GenmlreadingifmiUng tests 

• Wtarkplace-spedfiereading^Ungte^ 

• Interviews with «n^<vee,super¥i8cjrand/^ pears 

• ObseFva^onforwifieatiimanddarifica^on. 
OntooBMs: 

• A list (^potentiai students for a program should Uieydedde to 
participate. 

• A list ifindividuals who can be a contrd group ifthey do nf^ participate 
in the program. 

• Entiy4ev«i8bdll8 for individual fi4ud«atSpi^l»e-tertBC^ 
detomining later achievem^t. 

Sample Tools: 

• Wcff^aceliterMyAna^S^ Individual ProfUe developed by: 

CASAS 

(Ccsni^ensve AduH Student Assesnnent Syston) 
2725 Co^gteeB Street, #1-M 
San £HegD,CA 92110 

• Occupational Skills Analysis System developed by: 

Educational Data Systems Inc. 

22720 Bli<dsigan Ava 

Deaibom, MI 48124 ^. 



T6 d^ormina if a trainiiigiHrogram to 

To d^enniiM tho scope and vtt^ i^traio^ 

To determine the paran^tCTSc^lM^wiUal }>rograiaining,e^.tin»firBmes, 
avaUability, aldlu^ m^iort servlees. 

Employees, onployer, supervieore. 

• Questimmaire 

• Ii^eiviews. 
OntoomffR 

• Knowledge cifthe type c^trainizigMied by emidoyeeai^^ 

• Details ofwiiatwimM be mddaredoi^mal in tenxw of ]m«r^^ 
Sample To<^ 

• J(^tTnidng Needs Sumy in: 

Mark, JO*. (1987). X.^ AfiJSDo A— Bo^ Educa^ m ih» Wmi^amx, 
Washingtim, D.C: American Assoda^on&rAdnlt and Ccmtiiiuing 
Educatlim, Bu^ness ai^ buiustiy Uhitp available from the 
]»roductoi Servke. 

• LwM' Needs Survey in: 

A (hade to S^iUig up IMmwy Programs in ^Wor^lace, 

Laubach Lit»»7 of Canada 

National Develt^iment Office 

P.O.Bok298 

Bedford, Quebec JOJ lAO 

• Company Needs Assesanient in: 

AGuideto8MngupLi^nKyProgr(Wi8in^Worfq>lace. 
Laubach Lit^rac^ Canada 
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• Emplog^ Training Invontoy in: 

m»^ta^<^^IjeamiJiff aUmonOuiiktoWoriiplmUimt^ 

lablefirmn: 

Guide Orders 

AFL-CIO Human Resources Development Institute 
815 — 16 Strael N.W. #405 
Wa8ixingtOD,D.C. 20006 
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PUfflMHMR 

1\) deters^ ^^lal is Bvaili^ to bik! retpiir^ 

• financial ai^ human reBoums 

• tin» commitm^its firmn wrarketrs and employers 

■ 

• instructional and pronKiticmal matorials 

• profesi^onal assistance. 

Emfhiy^t, program administoatdon and i^xmsors 

Survey rawrarch. 
toolm 

Quaationnairas (enq>loyar, ath«r programs, prdbsskmal organizatkms). 

ft 

• Awatwatess rfoptowl conditions for programming in terms of resources 
and support. 

• Awareness ofwhat is availabie^ and whether or not it will suffice. 

Resouroesi 

Nat^Hud Literacy Secretariat 
26 Street 11H15 
HuU, Quebec K1A0M5 
(8X9)958-6280 

Natkmal Adult Utflraqy l^itahase 

c/6 Fanshawe College dfApi^ed Arts axMi Technology 

P.O. Box 4005 

LcHKlon, Ontario NSW 5H1 

(519)659-3125 

Movement for Canadian literacy 
500 Wdlington Street, Suite 701 
Ottawa, Ontario KIR aK7 
(613)563-2464 

• Philosophy, faciliUes and equipment, and learns support servim 
questi<mn«res in: 

27 
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Adult Utm€y Vdunteor Tutor Program Evaluaticm Kit 

Provincial Curriculum Publications 

cfo Open Unning Agency, Marketing Department 

P.O. BoK 940CK) 

Richmond, B.C.V6Y2A2 



Date Gathwing ReganHng Actual Program Factors 

P ar poB « 

To detennine aduemnsnt incUvidiials and of the program in both literacy 
skills and employment ta^s. 

Student, infractor, supravisor, peers. 
Method: 

• AdiieveniMtit tests 

• Attitude survey 

• ObservatkmbysuporviKir 

• Casestucty 
Tools: 

• BipeHmental<ki^gn8(pre-te8t^|X)st-test) 

• Interviews/djservaticn 

OtttCOaMBB 

• Data regarding the actual |»Qgramoutaynw8 in literal^ attainment, 
attitude diange and increased skill in the wmiiplace. 

Sample Tools: 

• Adult Education FoUow^ttp Survey in: 

Darkenwald, B3. & Valaitix», T. (1^. Outami& cmdlm^Hsct of 
Adult Bask Edu&aion, New ^imswidE, NJ: Rutfi^ Univen%, Cen- 
tre fiv Adult Devi^i^nnflsit. 

• Supervisor Rating of Partidpants, and 

• Supervise' Evaluadon ci Effects on thdr Dqaartments developed by: 

JorieW.Philippi 

Perfbrmance Plus Learning Consultants, Inc. 
7869 Godi^ihin DrWe 
Sprii«field,VA 22158 

• Learner Assessn^t in 

Adult Literacy Volunteo* Tutor Program EvaluaUon Kit 
Provincial Curriculiun Publications 

2ii 
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c/o Open Uarnlng Agwiigr, Marketing DepartmMit 
P.O. Box 94000 
Rkhnmnd, B.C. VeY 2A2 
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To d^cnnioe the actual ecmrw content ami its appn ^ a t« iea8» 

To determine tha a|^»t^8teness ax»i usdulness of znaterials which are hekig 
used te fis^UHate laming. 

• Actual materials (handoutSyte^flKama, etc.) 

• Training outlines 

• LeanMTS 

• DocunMot 

• Critidsm 
Took: 

• Content analysis 

• Interviewi^e^imnaire 

• Knovidedgsofwfaat works and what fkwan^ 

• Judgement of the value of mat^als and content from the stakeholder's 
Yiew 

Sample Totda: 

• Materials ouea^blcmnaire in 

Adult literate Vdunteor Tutor Fhigram Evaluation Kit 

Provincial Cinrieulnm Publications 

do Open Iiitamlng Agemy, Maritrting Dqp»tmsnt 

P.O.BosMOOO 

Richmond. B.C.V6Y2A2 
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To assess the api^'cpriatec^ss c^the instructioiial i^>proadie8 and 

To dfifefinnins tlM iiatm of the tnuxiS^ 
it is omdudye to learning. 

Program staff and Imseoem, 
Method: 

• Case^dy 
Tools: 

• Questionnaire 

• Interview 

• Observation 

• AwammeoflherelatioiialilpbeftweKi tabbing and leanu^ 

• AwamessoftheiieedtoiiiangDorinqffDveiii^ 

• Knowle^ofe&vironiiMiitala^ie^wfaidbxmirtbecha]^ 
improved upon to eohanm learning. 

Sample Toob: 

• Instruetkmal Strategies Que^onna^^ 

Adult Literacy Voltmtesr Tutw Frogrmx Evaluation Kit 

Provizudal Cimriculum Publications 

c/o Open Learning Agencgr, Marketing Department 

P.O. Box 94(XK) 

Ridmumd, B.C. V6Y 2A2 

• Guide for WoriBBF-eentred Learning in 

Wariter-centnd Learning: aUnhnOuidetoWorfqjlaxLi^raeyBvmiA' 
blefirom 

Gmcto Orders 

AFL-CIO Human Reaouroes Development Institute 
815 — 16 Stareet N.W. #405 
Waahi^[ton,aC. 20006 ^ 
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PragmmSMf 

Pmposes 

To detormine the efRectiTOiess <rf the instructional, administrative and sup- 
• portfltAfif. 

Individual staff members, students. 
Method: 

PerfbrmaiMie iQ)prai8al. 
Tools: 

• Studfintenduatiimoflmlniclkm 

• Self and peer evaluation of instruction 
OntcoBMss 

• Knowledge about the efflsctiveness staff. 

• Areas to target fia- recognition and for improvement. 

• Awareness of the actual roles and fimctions of staff. 

• Indieatioii of problem arei». 
Sample Tools: 

• Sample Ratii^ Form — Instrudor Performance in 

Camevale, A.P., Gainer, UJ. & Meltzer, AJ5. (1990). Workplace Basies 
Trmning Manual San Frandsco: Joseey-Bass Publi^ers. 

• Administration, staff traimng and develc^m^t, and planning 
questloopaiTeBln 

Adult literacy Volunteer Tutor Program Evaluation Kit 

Provlndal Cmrriculum Publicaticms 

cA> Leaniing Agu^gr, Bfai^^ing Departoiesit 

P.O. Box 94000 

Richmond, B.C.V6Y2A2 

• Checklist for Choraing Instructors In 

Worker-centred Learning: a Union Guide to Workplace Literacy availa- 
ble &om: 

Guide Orders 

AFlrCIO Human Resources Development Institute 
815 — 16 Street N.W. #406 
Washington, D.C. 20006 
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Purposes 

To detarndne how uselW the imjgram hM 
tho fimployor. 

To dotemine the Mtos and «t«nt of teanOn^ 
grain* 

TV oMMMM tha iayact rf the |»o^gam on tho workplace. 

• AUrtakahoym 

• Claas records of att«uianoe,adiievemant 

• Budget 
Metbod: 

• CoBtanaliyna 

• Survey 

• CHsei^4y 

• Coet-effiKtlvenaas analysis 

• Questionnaire 

• Stonrtured interview 

• Documfintanalyms 

• Inqiact study 
Outoon^s; 

• JustificatiimB to extend or terminate the program 

• Indications of probl«n areas 
Samiile Tools: 

• CkxBt/beoe^Anahf^ Process in 

Camevalo, AP., Gainer, ImJ. & Mrftxer, A^. {1990). Wor^aceBcmcs 
TramingModd, San Frandsco: JoBsey-^uM Publishers. 

• Funding QiMStionnaire in 

Adult lite /af7 Volunteer Tutor Program Evaluation Kit 

ProviiKial Curriculum PubUcatimis 

c/6 Open Learning Agency, Maj^eUng Department 

34 

90 



P.O. Bos 94000 

Ouidelii^ for Impact Evaluation in: 
CourtraiQr, B.a & Holt, (19S7). Evalualiisgiin^^ 

cotioii. Los A^eK Elevens Publicatiims. 
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Analyzing Ito /Mb 

An analysis the information gathered may be focused fay considering the 
questlcms to which answm are needed from the po^pective of th^ 
stak^told^s. 

raili^ (10^) htti devrioiied a M» of wn^ 

fim the Imi^ of the data ttoa^ysis prooM and the evalualiim 

questicms fi^iow the fimr-part evaloaUoo modd diev^ap&A by Stufflebeam^ 

aL (197D, whidi Btractures the eKamtna^cm of iH««raiii8 Iqt cmxtm^ input, 

process, and product 

dnitezt attmi^ to review and validate the untolying philosc^hy and goals 
afe8ehbi^fi]dll8pitigram,dete -^ningtheresamivprograinol^ieetiveBand 
standards, and identt&^unnr adsfor8ervifie,hdp,oriiiq»omMit 
witMneedi|m>gram,byaddiV8mU|(«](uestionsradias: 

• HowhBwyeftodam<«talbaBicskiltebesindefii»d?lBitadearwritt^ 
statement to ii^ch all learners ami instructCHTs subscribe? 

• What is the philoscphicalbdirfabfmt basic skills inomf^l^^idi 

azHi its inslriKtim? Are those belto& ikieinnffiited ai»l ^ 
aocQited lor these are a pert of tl» program? Are those beUe& 
suppcffted by corrmt theory and researdi? 

9 Are program objectives clearly stated in terms c^leamer devei(^nnent 
and growth? 

• Is there a descriptive i»ragram statCTisnt? Does it induct operational 
d:tisctives (rtatsments of how base ^ills instruction occur at difi«*ent 
phases of tiw program]? 

• Does the program ^Jboteatesub^st^rnnsfcrsGM^ 
assessment, skills devdopment, fi|yplication in occupational contexts? 

• Is there a systffinatic plan for evaluating the Pribram? for acquiring 
feedback from the employer, instructors, and partidpants for identifying 
new and emerging zj^eds over tin^? 

• How does the program accommodate individual differences, needs and 
pattms of growth in adult toamsrs? 

• Is the pn^ram, as defined, cimq>atibte with the needs and 
characteristics of the partidpating leam^rs? with the needs of the 
cimununity/oecupations it mrvesft 

Jxspai attemi^ to ^t«rmine wh^her or not required rescnirra capabilities 
are available for operating each program as defined, by addresdng questions 
such as: 

.?f; 



• Are the pn«r8mmat«id8«m^8tenl with itoj^dtosc^d^ 
goals? 

• Are a^squatesmteriateavaHable for aU phases of the i^ogram? 

• I>) the materials wcaic? Are they intorestixjg and stimulating 
use? ooBt-effbctive? rmd^ available? 

• Do the materials MComnKxiate learners with wide-ranging abilities? 

• Can leonmea^ find materials whieb they eaa use? 

• Are instruetorsadeqpiat^ trained to Implttnent all fihases of the 
programT 

• Are qiedalistsavailaUe to help instructcB^ with iHroblemsf<^ 
^Kq r are iwl traiiwd dHqwiiflfagjifft^ cwiw^ff^F^ d^i'g'^Mda and 
ronediatioa ipedaHstSy indusldcy pereenn^ eivalnBtor}? Is there a 
procednre establi-shed fig cont^iy them? 

• Are vdiinteers or aite used in the program? Are th^rc^es el wty 
defined? Do they have the necessary ^ills to do w^at is being a^Eed of 

them? 

• Is the learning facility planned and equipped to sui^pcrt the program? 

• l8thereoord-lGBepingqrstemcomptote»sinqple,amieffident? 

• How much tin^ is spent in instruction with leamm? individually? in 
raaall grot^ large groiqw? 

ProeM atteno^ to detmniiw if in^ctional plans are b^ng implemented 
as designed by eafamining the types of records maintained as hartrui^on oc- 
curs to note any discr^andes in |Bt}gramcurriculimi plans and daily 
instrcu^tor decision making required during |»t)gr am operation, by a^dng 
questions otdi m: 

• Is a currmtreeofdf^^-to-dayMtivities in ba^akiUs maintained? 
Are thc»e acthrities refieciive of the program? 

• What are eadi leanw's current pn^;res8» instructional activities, and 
learning problems. 

• How much time is devoted daily to ba«e skills instruction? How is it 
divided? 

• Are the program iitftmcticmaldeciiions and »MtiesgBim«l]y 
con^stent amcmg in^ruetOTS m^o have amilar re^xmsibilities or who 
must serve the zieeds <^ dmilar learws? Why eg v^ not? 

• Are l^oimmaUng the progress eoq^ected? How is this d^ermined? 



• ArethfiWBWiixwplaimedfiwuseacfeuaUybwi^ 

• Iff tr^^ff^^ng An^ in-B»vfaie for yofaB^onal staff occurring Is it meeting 
the Mined needs of the ^pogntm? 

Ptodnct flttanpts to eflMmine program oiitcoi^ 
gram dMertiveB for bi^ taitividaal leanwrs and pai^ 

asking questlfms sach as: 

• Arei»rtid!»nt8leaniingbai^flWUs^>iaifiatt<«8ai«^^ 
prcgram^is iMnition cf this sldU area rfMed fi» learner psr^^ 

wtsrk and life tasks? 

• DoIearnmooi^iniietoinebai^sldliBafterth^lea^dasi^^ 
apply new leaning to parfonnanee of Job taito or Job traininif? 

• i8a«^loarneracijiiiri!«UieneceManr8killsidBndfledlv«^^ 
progress satisfaictogy? 

• Are leamflrsuringlwsic skills to s<awth«r own wwk and pwsonal 
prc^lema or to acquire kiwis rfskllls? Do thsf view ba^ sMlls 

having utility? 

• 00 learners have «ituirtionalUteraiyairfnumaraqr,Le.itothfly read and 
conqiute and unikrrtand basic sidlls eimoepts wdl ewm^ to Iwn^ 
overydi^ survival tasks and to s»rt persimal and career goals? 

• Have learners with bask; 8^ disabiU^ compensated in a hmltfaar and 
produrtiveway? 

The answers to tlwse questions form the judgwn«Jt ^ of the evaluation 
and the baaU for an evaluation report. 



3S 



5. Background and Rationale for Evaluation 
of Workplace Literacy Programs: 
a Review of the Literature 

A ravtow of tba Utantnte in <]m fidd cfworiidaee ttteraqy ravaala vaty 

(m the gubjeet of program gyalnation. Snmathnfs ptgnun evaluation is meo- 

tionedas inie of the file|is In deivi^f^n^ ft woriqiUuse 

1986). Most coaamm are ora^pdiing arguments fas: evaluation. 



Argumente far Formal Program Evaluaf 



< 







• Ifthm is one point at wfaidli most program mloalm 
determining the vahm of tiM program, ^tlclit & Afi^ 

• One ofthennstinqwrtentflftilM questions is whether adult UteraQT 
training by en^doyera is el fec tive,.,tl» literature in this area is 
inoom|4ete or incoD^usive. (TsiK^iyr, 1^4:18) 

• The peri^itanoeoCfimctkmalllUteracy In industrialised country 

jnoduoed In so^te iii^cfa hsEve irat set up sttffidfii^ accurate 
mechanlfflns for monitoriiytl» results of their egbrts. (toi^ 18A7:21) 

Chianan^anthorofi/ifffipiSearCr fhsFmkraliU^inAiibiUIMsrai^ilBW), 
says that in order to atoeas adult i!literaiy,tl» US* go v e rn ment mn^ 
among other things, demand syBtenm that produce laiigB gains in bade skillg 
and hold programs accountable &r achieving those gains. It appears that 
literacy program evaluatoi is essentially 'Ussinif in the Ut«rat^ 
itishli^recwnnwmdedtyeaqMrts. 



Unsubstantiated Claims 



Actual evahiatkm r^wrts are difficult to find; however, claims {^program 
evaluation are common. 

• After mi^tutiii^ a Utera^ivogram, a flounikdxig Vancouver firm found 
that: 

**Soon staff turnover was reduced to managwable lev^ productivity 
incrmsed, and within sbc montiis the company was turned annmd and 
became profitable." (Gibb-Qaris, 1^B4) 

• At Levi S^auss in Hamilton, a UtOTaey program for workers "... brou^t 
betto* communication with management and co-workers and led to a 



betur untei^aiidii^ of thdr ii^ilvidual reqMindbiUUes. Also, ... 
wivkm are now b^ter able to |xr(rt«et themsehres 

iiymy." (Osvis, 1990:9) 

Based on the Southam Utawy Surv^, Calamai (1987) cmiduited thai for 
ev«y Adlar i^iant on IHemy ui«Mdli«^ bu^wwea fat $6 
producavHy. I^rain a qpeedi recording tha Pl^^ 
tha warnUig apdnst mireaUs^ or tmsiilista 

• WeMitlaliniwrtamtobeiiNireraaUaticiyiKii^ 
inca^aaad ItevH^ because qiverrtatad aqpeetaftk^ 
to a withering of broad cmiimStn»iit to rasidvingHtfln^ probleaxm. 
CTuik. 1989-.6) 



Evaluation Examptes 

There are a few aain|>le8 of worlqilaoa Utm^ program 
literature, anumg tham: 

• Tho MnnftarhwHtttH Wfflrtr'*'^ g^agatlim Initiative wfaidi has recently 
conducted a stu^ to evaluate jarograina witUn its jurisdicticm. 
(BCEL, Jan. 1990) 

Sechtor, 1987), a j^licatiim of the Hatii»ml Cmtra fis* Research in 
Vocatiimal Educati<m. 

• An evaluation of the Job Functional Literaiy Program as rep(^ted in 
Joihr^atedBaac Stills: Cases and ConOumons (Sticht & Mikulecky, 
1984). 

Partnersh^ joint pn^ect of Ite^ian ConimunHy Ckdtege and the 

Peavfi^ BlectRmtes CoimtioQ, pr^mred to 

Business. 

• A r^K^rtl^ Mark (1987) wfaii^I^desevi<^(ieeauit some American 
wi^kplace programs have resulted in inqproving tb** lm»c sidlls of 
workers. 



CriMclsms and Recommendations 

There has been just enough evaluation resorting for the critics to have been at 
work; Uie problems whtdi have been identified can be avoided throu^ plan* 
ning. 

• AccordingtoTenopyr(1984)andBCEL(1987),tbemostsariou8i»roblem 
in evaluating the reswi* on adult literacy is the lack of control groups. 



Uiat is, achievem^t dTpm-sons who received ^ning has noi been 
oKX^fmred with thai of eoinpandile grmi^ of pmms who did not receive 
training. 

• Anofchwpn^lem has been Uifi dual set (^ol!liective8--en^ 
and rtuttot-cmtnd. Finger^ ( 1984) points out the ptMmos oi 
detraining, sta^and n»a«iringUie multiplid^ ti workplace 
programs* goals. 

• A third prabl«n has been the barriers to data oollectiim(McCune& 
Alamprese, IW), for exan^e, insufficient Ume, financial and human 
resources, eKperUse, standardized measurement tools. 

Obvicmdy, th^ there are a set (^optimum preconditions for fi»mal evalua- 
tion, time, resouroes, ai^ expertise amimgtiiem. 

Most program organi»ro report that thdr im^grams are jurt too new to have 
been fliyrtematleidly evaluated Mm comoMm^, prefects are 
way to devriop evaluation imid^ amlAir to comkct large-scale program 
evaluaticms, for eouofli^e, the Adult literacy Evaluation Prqject whidi is 
developing and ^f^iffj^ing evaluation irocoiures in some 70 adult bade educa- 
tion programs in the miadelphia area (BCEL, Jan. 1^). 



MMSurra of Suc^^s 



In the Hterature, there is no ccmmionly used method or niodel cf efvaluation, 
but th«e is a great dml c^wMce, both about the process and pero^ved suc- 
cess mrasures. The purp«>Be c^evaluaticm is es8«Qtia% to make i^^gram 
decisions rdative to the okt^ives d'some «* aU d'tiie rdevant deddtm 
makers. What do mi^loyers ami workers want out (tfbadc ddUs pn^inuns? 

Accordiiog to the Canadian Bu^ess Ta^ F«t» on Literacy repeat, The Cost 
oflUitsrvy to Bimtma m Canada (1987), budness and iiMhi^ n^sure the 
cost c^OlIteracy in terms of tost jroductivi^, poor, incm^^^ product 
quality, excesmve superviscnry time; lads coworker ability to be trained or 
promised; and poor mmle and absffi&tedmn. It would make sense, the^ 
measure program succera in terms of tiie same crit«ia. Houstim ( 1990) s^ 
that an emplo^/«* mi^ be loddng for sometiui^ as cost^lex as inoreased sales, 
customer satisfaction and irofit, or as apparentiy dmple as workers who can 
think fo^ then^ehres — neitiier are easy to evaluate. For employers, evalua- 
tion is a c(»(t/b^^t analyds (Tenq^, 1^). This is loA muprising when it is 
estimated that Canadian employers could q>end sf^proximatefy $50 million on 
bade literal training. Difficult as thiy may seem to measure, tiie first eam- 
ponent pn^ram evaluation must relate to the emplc^er's objective for 
program miocess. 

The second m^jor group of deddon makers are the students/employees. Ob- 
vioudy, the first criterion is attainment of bade skills. In addition, according 
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to the literature, the snse-oanm is looking for more dedsion-making muede, 
more flexibility, q^poitunities fin* advaiKement and increased job security 
(Houston, 1990). The BEST jxrogram in Ontario, whidi is unlon-qMrnsorad 
rather than emf^og^er-qxmsored, eidsts tc^ the jpurpoee f^imi^Wng the 
quality of life fbr uni<m members (Davis, 1989). The seccmd evaluation com- 
pon«it must be achievmnent Imumer goals and oli(|ectivw. 

Th«re may be succera criteria peculiar to emh of the c^er identified 
stakeholder^ lumver, the literature is not n^reaHng. 

What a review of the Uterature in wi»:kplace Uteraiy rev^Us piost mgnifica^ 
ly is the wealUi of resource whidi are n^idly becimiing available. There are a 
large number of MTganisatiims, agei^es, iiMlivHuals and programs ^ 
in part or in total, to give adince and direction. The following r^erence list b 
but a start. 
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6. Technical Aspects of Formal Evaluation 



Formal program evaluation is osnpleK and aom^ixM controversial. There 
can be great variations in the use of tltt tarm "evaluation," in the 
models^gocooocia used and in the repcarting/use oi the findings. 



Deflnif^ "EvaluaafHi" 

Various technical definitions (devaluation may be found in the literature cd 
administratkMi and educal^mal refonn. 

• In ear^ develqaimt (d curriculum development theory, Tyler (1949) 
d^ii^ evaluaticm as the process of (ktennining the extect to which 
ol^iei^ves have been adhievei^ this (Mixtion is aimidy concerned with 
whether or not ol^^etives are 

• Sudmian (1967) defiiMlevaluatiim as the (^ennination of results 
attained liy some activity ^te^giMd to Mcrao^Uah some valued goals; this 
dilution adds the dimension causal relationships. 

• Stake (19^ stated that program evaluation recpdres the collection, 
I»oceedng and interi»^ation (ddata pertaining to an educational 

this introduces the gathering of evidme. 

• Evaluation, as d^inedl^Froviffi (1969), is the imMfdagreMng upon 
program standards, determining lii^iether a discrepant exists between 
some aspect of the program, and umng discrepancy information to 
identify the weakiraes (d the lan^ram; hm, standards of acceptability 
are introduced. 

• According to Stu0tobeam (1971), evaluatlcm is the procem of delineating, 
obtaining a2»i providing usefiil infonsatiim for Ju<i^;ing dedsion 
alternatives; tids de&dtion incmporates a stated use finr evaluation. 

Cunmt definitiims of program evaluation incorporate all of thme concepts. 
For practical purposes, evahiation may be d^U!^ as a process involving 
desaripticm and mBmuemmA, eon^;>arison and judgsnmt (Bradc & Moss, 
1984). In order to earamiiM an educational |»ni^;ram, it must be described in ob> 
servable tOToa Measuronent, the iat>ce8s of detmiining status ami anvmnt, 
provides the most observable statmrants about a pingram and makes dMcrip> 
tion more concrete and usable. A program, once described, am be compared to 
other sufii jMTograms in relative tmns, to stamiards cd«ici^>tabiUty and a 
lence m absolute t«ins, and/or to the criteria of success determined within the 
individual program. Comparison leads to judgement about the value cf the 
program, Aether it is as good as it set out to be, as good as c^er such 
pn^ram^ or whether it is at all acceptable. It is ti&e judgement process w^ich 
is the most tiureatening, but the most criti(»l to dedtion making. The key fac- 



tor in the judgement process is *Svfao" is making the judgement; the judges — 
the stakeholders — are determined by the purpose of the evaluation. 



The Purposes of Evaluation 
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In the Uteratoe of einauatkm, tim are a number of suited purposes for fb^ 
mal program enrahivti<m: 

• To uncover durable rdatioiisMps, thorn opimjpriate for guidii^ 
educati<mal pn^prams. (Cronbaek, t96d) 

• reflect the folhieaa, the cosiq>toadl3r and the importance a pn)^^ 
(8tal»,1967) 

• To delineate, obtain ax»i provick iiseiul infcsmation forjudging decision 
alternatives. (B^ebeam, 1971) 

Sp^ddng tedmically, systematic fonnal evaluation provides a baseline of in- 
formation about a pn^ram, s(srstem rar product; it can be responsive to data 
requiiementa as th^ emerge CStuffleli«am, 1971). To tfcds evaluation 
ccmld be a qri^ continuous process. According to Stake (1967), reo(^ 

document causes and c^BBcts, ti» match between intent and acco mp Hshment, 
should be maintained ai^ these records shimld be kept to promote acticm, not 
diratruet it. Ultimately, the evaluatorwtebes to ooimn^ tb inform, adu- 
late, Uispire, anmss, or c^berwise jarocktioe a benefidal hx^^ 
appropriate pei^e (Smith & St. Jdm, 1985). 

Speaking practical^, evaluation is performed in the mvlce t£ dedmon 
making; therefirare, it should provi<fe information which is useftd to deduon 
makers, Le. students, instructors, administrators and sponsors. Each has a dif- 
ferent piuiH)se fw supp^Ung or conducting a fonnal program evaluation. The 
purposes which stakeholders have for program evaluation are related largely 
to timing. Fonnal evaluation can be conducted during three decision-making 
dtuations: before a program irtarts, La im^grami^Umning;wfaUe it is in opera- 
tion, i.e. implemsnta^m; ai»i at the of a program qyde, i.e. cos^uaion. 
AccOTt^ng to Stufflebeam (1971), di£forent types afevaluaticm are conducted 
for maki^ dififorent types dsdsions. 

1. Planning dedsiims are needed to detonnine program ol^}»^^. 

• Context evaluatiwa defines the relevant environment, describes the 
desired and actual om^ticms p^taining to that environment, iteitifies 
unmet needs and unused cpportunities, and diagtu^sra the problons that 
prevent needs from bmng met and opportmoities from being used. 

2. Structuring decinons are needed to de»gn procedures. 

• Input evaluation provides information for determining how to utilize 
resources to achieve prqject objectives by identifying and assesung 
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relovant c^pabiUtiim the r^nm^ble agmcy, straiegiGS for adhieving 
IHnc^eei d^jectives, and d^gns impkamal^ng a sdected ^ategy . 

3. Implementing ded^ims are neectod to utiUte, cimtn^ and refine procedures. 

• Pmesseimliaatifm saves to i^ovideoi^pi^ngfiBec&adLTto 

imidemmitaUon, and to guide iq)pra|»iate changes. 

4. Regrding dedatons are needed to juf^ and react to attainments. 

• Product gyalufltion meawiras and intert«r^ attainroents not <mly at the 
end of the prq|ect qyde, but as dten as z^crasary duriz]^ the prefect t^rm. 

Puiposes fiv evahution m also related to usas^ La ipi^iat 
are going to be mada ^a piirpoM nuQT be e^Utte fion^^ 
matiire evaluation is used to dfivelq>,n»xiify and hnpreva a jmigrem and 
summatlve evaluatiwi is used to pass an absdnte Judgement abcnit the suc- 
cess crfthepari^am. Either type devaluation <»n be comiucted at any tin» as 
drconMrtances dictate iMiwevcf, l^yplcally 

during the program cg^ 1^ b^irom ongikng grdes to izMiicate arm 
strength and weakn^s. l^P^c&Uyi summaUve evaluatiim is conducted at the 
Inid of a larogram cyde for the purpose (€i^ermii^Dg mtinuasm Eadi 
sta^hdder can a^ olttti does fLod reasim to nmke infonnal forma^ve an^ 
Bummative decisions about the pn^rem. Formal ded^ons are dlen the result 
of fcsmal evaluation: gathering evidence, making coxx^ssrisons and judge- 
ments. The purpose or purposes fcsr a formal program evaluation determine 
the appropriate ^jrpes of hifornrnticm or data which will be gathered, the 
methods azid tools £nr ansiydi^ the data, and the repiK'ting of the data. 



Data Gathering Methods and Tools 



There are a wide range (^methods and tools f(«r gatiierii^ infmiation about a 
program. Not aU are necemrily i^^caUe or ai^i^rqpriate; the didee ^pencb 
on the evaluator^s purpose. In dmpUfled form, sane of the chdcee are as fol- 
lows (Smith & St Jdm, 1986:18): 
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Tools 




Purooso 


Investigative 


Investigative journalism 


To confirm hunches, dis- 
comrnew!.'wite 


In-dei^ Interview 


Case study 


To probe, to gain insist 


Tmtoony 


Committee hearings 
Panri reviews 


To gathor evidence and 
viewpdnta of diffenrat in- 

tSSTOaSS 


Obstt^mtien 


Case study 
ntenomandogy 
Service delivery 
Araessnmt 


To obtain "au^ots" of 
reality; to disoiw pat- 
tems 


Document and tracbdng 


Inve8tiga^ve.H>umalifim 
Leg^sIaUve history 


1 0 Buroianwase review 
hi^oiy of issue or pro- 
gram 


Achievmx^t 
Test 


Eiqserimental d«Mgn 


To d^«rmii» if groups 
are rtatistically difil^pent 


Operational 
Tests 


Product evaluation 


To n»BSure the qualities 
ofperfc»*mance 


Surveys and QuesUon- 
naires 


Market rmwch 


To discover the distribu- 
tion of qjinion 


PhotograpiiB 


PhotQgrai^ 


To capture images of 
reality 



Data Analysis 

Different types <rf data are analysed in (Afferent wigrs. Again, in simplified for- 
mat, the choices are as follows (Smith & St. Jc^ 1985:19): 
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Tools 




Purpose 


Factor analysis 


Statistlaid analysis 


To determine if observed 
diffwencoi are statisti- 
cally significant 


Cortanaly^: 

- foa^Uitgr 

- ^(bctivensss 

- utility 

- bra^t 


Costanalyms 


Todetefmineif 
programs are feanble, or 
to meaaure costs against 
results 


Opmtiimal analjrds: 
. aa^gnms&t 

- tranig^xytatiro 

- aueuiiur 


Operations research 


To <totflnmne m«ximam 
use (^resources; to mini- 
mise <»8l8 


Box plot 

FuncUim transfimation 
Stem BxnA, leaf dii^s^ 


£xpl(H*atory data 
analyds 


To discover relati<mship8 
and patterns Mdden in 
accumulated data 


Geocode 

Tranfl cnirffiee ami sorial 

areaana^rses 


Geographic methods 


To pcHtray the spatial 
distribution of program 
variables 


Thematiic matrix analysis 


Literary critid^ 


To identify predominant 
thanes 


Concept analjrsis 


Philosophy 


To clarify thinking, lan- 
guage and id^us 


Cimient an&lvsiB 
Traddng 


Document analysis 


To substantiate themes 
and/«r a hypothe»B 


Debriefinff 


S^vioe deUveiy assm- 
ment 


To arrive at coi^nmss <^ 
perceptions 


Cozinoisseurship 


Criticism 

ft 


To vSiex pmonal, expert 
anafysis and opinions 


Hearings 


Government Committee 
hearings 


To synthase evida[»:e 
in an open public fonnat 


Juries 


Legal proceedings 


To judge evidence in the 
form of adversary tes- 
timony 
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Tools for Com municatlnfl the Hndlngs 



Tools 


Methods 


Purpose 


Narrative prose 


St(»y telling 


To convey the reality, 
humanness of the pro- 
gram 


Brieis 


JoumaUsm 


To convey tu^ig^ts in 
headline form 


Graphics 


Art/Design 


To translate information 
into clear, insightful, 
grapnic lorm 




Geography 


To illustrate relation- 
ships using mapping 
formats 


Pictures 


Phott^fraphy 


To use pictures to 
heighten sense of pro- 
gram rmUity 


Oral bnaungB 


Service Delivery 


1 o give oraii prmenvauon 
of findings 


Hearings 


Committee Hearings 


To present all testimony 
and evidence publicly 


Vignettes 


CaseStucfy 


To present in writing 
typical illustrative 
scenarios 



Conclusion 



Formal program evaluation is both complicated and assisted by the variety of 
options and processes available. Once the purpose of an evaluation is deter- 
mined, however, many of the decisions are obvicms. Each pn^fram evaluation 
can be specifically tailored and, therefore, unique. 
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1 . Introduction au guide 



Udvaluation de pn^ramme peut 6tre complexe et intixnidante. Ce guide est 

• Vous m» ^Add6, pour quelquo ndaon que ce soit, qtiHine 6valuation de 
programme ]^)urr&it dtre utile h vovushmdme el 1^ voire programme. 

• Vousn'dtesiia8uzwai]torit6enmalited'6v8lu^onet vous aimeriez 
obtenir quelquee conseils th^oriques et/ou pratiques. 

• Vous n'dtes pas un esLpmrt du domaine de I'alphab^tisation en milieu de 
travail et vous aimeri«B en savoir davantaga sur ce Bi^et. 

• Vous aimeriez que Ytm. vous pn^xise quelques questions^ afin d'orienter 
yos idte au 6i:uk de rdvaluofekm de votre programme. 

Ce guide n't^&e que dee suggestions et des conseila II faut dgalement tenir 
compte des limites suivantes : 

• 11 n'existe pas de m^octe univ^iselle pour ^valuer un programme 
d'^ducation; revaluation peut revdtir diverses formes. 

• L'dvaluation peut dtre f(xmelle et/ou Infbnnelle; ce document traite 
prindpaiement de revaluation fcamelle. 

• II exlste tme multitude de pn^^rammes d'alphabdtisation en zoiUeu de 
travail. II est impoa^le de produire un guide qui puisse s'appliquer k 
tous les genres de programmes; ce guide est de nature suffisamment 
g^ndrale pour pouvoir a&rvir k de nombreux programmes. 



RoimrciMimts 



Ce document a Mi6 |H*oduit grdca k Taide finaoddre et jmxfe^onnelle foumie 
par le Secretariat national k ralphab^isation de Multiculturalisn^ et Citoyen- 
nete Canada. L'auteur tient k remOTcier tout particulidrement Brigid Hayes, 
conseiliere en mati%re de programme au Secretariat national k ralphabetisa- 
tion. 

L'auteur veut egalement t6moigner sa reconnaissance sincere aux personnes 
suivantes qui ont forme un comite d'examen informal : 

• Carolyn Dieleman, ministto de I'Emploi et du Perfectionnement 
profi^ionnel de rAlberta 

• Julian Evetts, Communities, People and Development Group 

• Al MacKay, Universite de TAlberta 

• Gordon Nore, College Frontiere 
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IXni St^n, Col%e prcfesaonnei de TAIberta, Edxsonton 
Thomas Sfeicht, i^lied Behavioural and CogniUve Science, Inc. 
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2. Introduction k i'alphabitisation 
en milieu de travail 



Termes et dMnMons 

Lb tenne nalphabMsation* a plui^euro ngiufications» par exemple : 

• c^^iadt^ fondam^tales de lecture, d'teriture et de calcul. 

• apUtudeiiU lecture suffisantopmirparxnettre&unindlvidudedi^^ 
saproiR^vie. 

• ciqimdt^fimdamfliitalesdecoimnumrationetderaiaonD^ 

• traitemeiitdeilDlKKisatiioii. 

L'eaq>re«slon «alpliaMti88^<m en milieu de travail* est parfois synm^e de : 

• fonnadondel»se en miUeu (to travail. 

• impadttefondamentalesde lecture etcfteiturerequisespimrie milieu 
detravail. 

• ai^HrmxtisBagBdeseapadt^foiietkmiifdlescte lecture, 
calcul pour le miUeu da terail. 

• coursaYanc&d'ali&abdtisationfiSimrts dans le cadre dHine formation 
professionTOne 

• oonzs d'alpliaMtlMitlon aa6s snr VmpM pour le milieu de travail. 

Aux fins du present document Teaqn'mma ^^rcgramme d'alphab«^sation en 
milieu de travdl» enrobe ia gamme comi^^9 ^ c«i d^niUons. 

Lp diversity programmes 

Les programmes <f alpliaS>6tisati<m en milieu de travail difi&roit grandement 
selon les attentea et las limites : 

• du promoteur du pn^p'amme, p. ex. un syndicat, la direction, un 
dtablissement d'ens^gn^n^ un groupe de n^odolc^e ^ucative 
comma Alphabdtisation Laubach. 

• des responsablos du financeroent des rwsourc^ finanddres, mat^ielles 
et didactlques. 

• des participants et de leurs besoins d'alphab^tisation. 



• du niv^u dm cours d'alphab^tisation, c.4k-d. alphab^tisation de base, 
fbnctionnsUe ou avanc^. 

• du materiel etde8(moimtenu,c.-^'4.reU6autxavaUounon 8x6 siu^ 
VmnpkA. 

• de details conmie le cal^driOT, le lieu (sur place ou k TeKt^eur), 
I'utilisatifm de poreonnel Wndvole ou r6mun6r6. 

Un prcgramn^ d'ali^iabdtisation en milieu de travail peut done dtre : 

• faculiaMf<niobligBtoirepourIes«a:^ogr6s. 

• afiisrtpardesali^biabdtiseursbdi^volesoupardesixi^^ 
Naaxundrte. 

• organist par un syndicat, un college communautaire, une ^le de 
m^iers, un eKpert-ame^ m forma^km, un organiame d'alphab^sation 
des adokes, un eoie^ acd^re, et ui^ de aiUte. 

• <^fort&amrttenneoudefi^oncontinua 

• olSitftsuridacecHil^restdrieur. 

• offertdurantlesheureede travail Qupeiidantle temps libre dee 
emplo!3r6s, ou una oomblnaison d^ deixx. 

• r6serv6auxen^€yfe cm affitft&leurs famines. 

• Q£^ii(te8niv«n2X|»ri^Ebad(mnebpr6dsou&tou8le8niv^ux^ 

• aacduniquenient sur desa^vit^de leisure relitoau travail ou sur des 
besdns de lecture g^i^raux. 

La liste peut se contimuer indS&nim^! 

iin^ QuMtions pour orienter vos id6es 

Si vousoffiresd^&un programme d'di^iab^sation en milieu de travail, 
ou si vous songez k en cr§6r un, quelle description en donneriez-vous? 

Qui sontlesdientsduprogramnMet quels sontceux qui en 
prdSteraient le plus? 

Qui mA le responsable du Hnancement du programme et quelles sont ses 
attentes? 

Quels sont les ntveaux de fimnation et les n^odes d'enseignement? 

Ceschoixont-ils^faitsdefa^nconsdente? Connwsaez-vous les 
solutions de rediange? 
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Lm Intervenants d'un programme d'alphabMsatlon 
en milieu de travail 



Les Intervwiants roprdsontent une multitude de personnes et d'organiwn^ 
qui prexm^t dee dMidxma au siget des prt^iranunes d*alphab6tisation en w\- 
UmidetiwraiL L'^nralualicmd^mI^Qgra^mlBdf^tt8nirclnI^^ 
mtervenants aihraiits : 

• les apinwianisdvaiituele qui peuvoatdicn^ou lion departidperau 
pn^rasune. 

• les v^tables ai^irenants qiu peuvent chdsir ou oon de continuer k 
participer au pn^ramma 

• leeinstructeuraetlesali^uib^eeursqi^la^^^ 

cfad^iraent le mal^riel dida^que les xndthodes d'lmselgi^ent. 

• lessBBtionnairascte qui adminis^rent les ressources 
hunaines et fisanddras et qui sent diargte de la planification. 

• lesdHgeaiit8^7zidicauxquipeura^app9Qr«roummlepri^pr^^ 

• U directum dsTeiitr^ise qui, en Umt temps, peat (Mderdeme^ 
OMXvre ou d'abandrau^r un iat)granm», <m cboi^ d^ participer aa non. 

• les rw^Hmsables du financement du programme qui drnvept rendre 
conqrte ^>aises. 

• lesl^sMA^e^^lui^^i^osponsablesiteleurscMcimonsdevan^ 

Cheque intenrenant veut connaltre les rdsultats d'un progranune donn^ dans 
un but precis, pour des raisoz» qui ont trait k sa propre psurtidpation au pro- 

flQT&IXlIISB* 

€9^ wp^i-p^p^^^^ 



iiii^ Qu^ion pour orlenter vos idtes 

si^ Quisontiesint«rvenantsdevotrei»rogranuns? 



La pratique afflcw^ en maftlire d'alphabMlsation 
en milieu de travail . 

n rferista ancuna norm d*«an»U«M© qui puisw toe appUqa^e & chacun 
iimnbiw^ograiiiiiM8vari49qui«mJid<fini8Cia^ . 
phab^isalton Ml mil^de travail LBS8ugi^8toa8feimiMe8ci-de8«iU8.quj 
peuT«it servir ^ fisMiffinenl & r^lidbmllim <^ 
le firuit d'afiforta viaanfc ^ablir itea xionM de «praliqaa ^fie^ 

Ejctrait de T»e Bcrftorn Ziiief Sa»c SkOto in «*e 

• I^olueetifoefelfiarteitateiMndvuadel'entr^ir^ 
participants so&t ^nc^ elair^nent. 

• Lepragrainxiie eat a|^«]3r6denmiiitec(merdfte par la haute direct 

• LesonplcTeurau^liflaiitdaatadmiquesderefanitemMit^apttoaux 
employ^ qulls scmhaitent attmndre. 

• director la pflr8imod(diai86dup«rfieeaoi^^ 
humaiiiaa Ge caa 6d^aiit), lea superviaeurB et lea tra;vailleur8 

parOdpant toua k la plaj^eaticm at k req>loitaa<m courante du 



ERIC 



• Le d^r6 de rdussite du jHt^ramme est n^sur6 selon d^ crit^res pr6cis. 
Catte inftnnatiim ^ partagte avae lea anqykyte 

ddtermin^e ovac I'aida das supoTtseurs. 

• Dea teats prMableaviaantlLi^uler las mtua^oind'emplfnetlest&ches 
sent uUUate poor ddterminer leabesinim at lea points forts d«9 &ap\oy^, 
et pour caientir Maboration de plans d'ai^ra^tissage k llntention des 
employ^ partidpants. 

• I^em|di^s(mtiiMt6s&&irapartdelmu:8ol^iectifepnw>^ 
leaqu^ scsit intigrte am plans drapprenMaaage. 




d'^aluataon sont rd^ diraetmimit aux dbtjadifs d'apprnitissage. 

icteurs connaissent las o(»q)6tenfies da base requises pour 

>Ur lea t&dies qui rddvant (f una divi^on ou d\m so^ce 
i«r ^ que le personi^ sm & extotm-. 

Les em^loy^ et les miparviseura rejc.vsnt souvent des conunentaires au 
st^ de leur progr^s, lesquels sont smgneusement ccmsignds. 

Les donndee d'^vaiua^on servant 2i am^orer I'efficadtd des 
programmes. Dsste^post^eursvisant&atmulerlesffiltuations 
d'emploi et les tdches sont emplogr^ pour mesur«r le d^sr6 
d'apprentissage. 
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Extralt da Job-related Bfmc Skills: Ca^a cmd Concltmons (Sticht et Miku- 
iec^, 1984) : 

• I^formaUonestbas^esuriemat&neletlest&cliesdelec^^ 

reli^ rempk», ^ant dimn^quo i'apiirmtissagodescompdtmices et des 
cfmnaissances esl to plus eiRcacB Imqull est prtentd dam un conteicte 
auqu^ lea ^praoants peuvent a'asaiinilar. 

• I^oai^mointfappraiilisrageatmtteUea quale plus det«iq>spoadble 
eat offflsacrd & diaiiue i^^)r«iAnt qui se Uvre 

• LesomipdteQces^leaixmnaisaaiifiesvisdesparlafOTmationsont 
ada^6es au miUeu pndimAaDnai de rappfwoant, et ies niveaux de 
con^)6tence ont M dtabUs en consequence. 

Extrait d*un artide de Sj^kea et CtffosXL (1987) au so^ de refili»dt6 de la par- 
lidpaMon «i^og^ aus i»rograiimM8 de fonnation : 

• n eod^ una ralati(m poeitiire «Dtre Traplogreur et les emplpyds, qui a 
pour affi^ de stiinuter le d^ird de i»>tivaUon de c» d^rniers . 

• II existe une garantie d'avancement si lea niveaux de competence sont 

• Des anrvxeesd'orioita^im stmt (^Gnrts«imatite«de«mt6,debien-4t^ 
de loipanaent, ^ garde d'enfiants, de police et (te fi»nnati<m scdaire. 

Extrait d*un ouvrage portant sur rexpdrience de la sod^td AT&T dans le dor 
maine de ral{di^>etisation en milieu de travril (Temspyr, 1984) : 

• I^d^JecUfiidu programme sont memirableiK les criteresde«r6ussite*» 
du pn^pramme ont 6te dairamrat dtablis au depart. 

• L'efficadtedu programme est evalueedemanidre^fstematique^au 
SMQfen da grotqtea cto omtri^e et <f autrm Steenta qui entrent en li gne 
de conq^ dans la conesi^don dHuM etuds e£tece. 

• Lea olueeUfsdu programme mtrtoUsabl«i,oonffxrmesauxol:tiecti^^ 
C^obaux (to rmtr^nise relite & de» rS^tats pratiques en matidre 
d'afibires. 

SuggesUons toanant du Business Council for Effective Literacy (1987) : 

• Les cours de formation sont donnds par dw ensdgnants bien qualifies. 

• Le programme est fl^fertdurant les heurradetiravail. 

Extrait de Basic Skills Training — A Launchpad for Success in the Workplasx 
(Taylor et Lewe, 1990) : 

• Les programmes reussis tendent h etre utiles aus« bien k Templt^eur 
qu'aux employes. lis repondent aux objectifs de I'organisation, tout en 

ilZ 
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pwniettant 1^ r«nploy6 tf ea profiter de fa?on personnelle en milieu de 
travail. 

• DesassQciatioxisixiiMivatricesdotmffiitUeu&dMprograxniima 
mmi^airas qui peurait sarvir da nmmaux mochas da firaiation. 
Dana tous las cas, U d6 da la rtodta i^idda dans k Gr6at^ 
flBffff^atinn, an B^n dfl laip^a fihaquB partenaire apporte una cacpwrUse 
qui vimt con^^ter cdla autraa. 
Pri^ de que cetta Uste n'est pes i^cessairement complete ni 
mamMvm; aUa pr^^ita das m^thodes tr&s (U^lrentaa an maU^ da {nro- 
grammes d'alphab^Usation. 



liHif Question pour orienter vos id6es 

m E^-caquecartainesdaceBr8ccmunaiMlali(msontmirapp(»:tquelconq 
avacvotraatuatioQ? LesqueUes sont absdument irrteUsablra dans 
votrecas? 



Lm motita jusUflant l'6raiuatlon dM programmes 
d'alphab^Msatlon en mlHeu d» mwall . 

U est trds difiEldte (tejuger ou 6a comparar des programmes d'alf^ab^sation 
en mmeu de trmll, ear tate pea ^ rai^MTto d'Avaiua:^ cmt 6^ 
sa^. Une discus^cm om^^ dc» quekions relatbas aux programmes d'dva- 
luatiim et de fimation de Imse miUeu de ^KvaU eirt prteit^ 
secticmS. M^r^nihmaimviseiitoutlems^iisdwprindpaiixol^^ 

• L'^abmtionefcramj^oraaonde programmes. 

• LemainUoiourabamkmde programmes. 

Sur ie plan praUque, il exii^ plusieurs bomies raisons d'^valuer les pro- 
grammes <f alphab^^tlon «i miUeu de travaU (Canxevale, Gainer et 
Meltw, 1990:86)'. 

• Les cadres mqsMeurserigmtde plus «i plus que I'eCHci^t^detels 
jHx^premmes sc^ Mblie de fmstm uMvable el qui! smt d6montr6 de 
quelle &tgoa mnL'<i ccmtribu^ k la rmtablUtd de I'orgBnlsBUon et & la 
rtiaU^im de see ofc^edfii stri^^ques. 

• ljesdixecfeeur8^im^rammes<tef(raationetlesapprmmnts 
eux*mdnm sodgmt de ]dus m plus d'obtoiir de n^eurs crit^^ 
d'dvaluaUim des elfols de la fi^:^<m. 

• Unflf^^teed'^valuatkmint^^le programme contredemauvais 
jtiS^ents pourant dtre tods par di» persfmn^ qui en comiaissent mal 

lesrdsultats. 

• I^organisaU(msveul^tconnaitrer^cadt6 relative deleursdiva-s 
d^partosmits, jmigrammra ^ s«rvii»s. 

• Dasme8uresi»r6dsesdudegr6der6us^d'uninngrammeant^eur 
psnnettttit cTaccn^ltre la confiance et peuv«it ai to & garantir des fonds 
en vue de pn^ets fUlurs. 

• II ei^raiscmnablectes'a^midre&cequWe activity qui esdgectes 
d^penses considerables de la part de Forgaiusation fasse I'objet d'une 
Evaluation. 

• Enfln, nncorporation d'une procedure d'6valuation dans la proposition 
soumise k la direction dfonmtre la confiance que Ton a de pouvoir 
dtaontrer la realisation des (^%^cti& du programme. 

11 existe certes de nombreuses autres raisons pourjustifier revaluation d*un 
programme d'alphabdtisation en milieu de travail. Ortaines evaluations sont 
tout implement obligatmr^ tandis que d'autres sont employees pour des fins 
detoume^ 



iin^ Questions pour orienter vos id^es 

PourqueU6I^scmvou8reDS8igXle^-voaBaus^$^de^^aluationde8 
programmBS d'ali^abdtisatiim cai milieu de travail? 
«^ Dans quel but voules-vous ©ntreprendre una Evaluation d© programme? 




3. Introduction k revaluation de 
programme formelle 

Le (toaioA da r^valu^cm d« progranmiB fbrm^e est ^)6dali86 et con^ilexe. 
Una diseuaskm apiMralinMUe des dSfhiiUons, dm oiyecti& at d'autres aspects de 
revaluation de programme formelle est pr^sentte k la section Sdece guide. 



La signification dii terme «6vaiuatfon» , 

^valuer ^gnUla porta* unjugenmt sur le rendemant ou sur lea rteoltats de 
qualquadiofia,pareeKeoa|>latmpc<^|ramn»,uni»roduitout^ Eni^a- 
tiqua, rdva]uati<m paut d^nia coning un proees^is m^x»rtant trois 
dti^taa: 

1. Ladasoiptifmatlamasura; 

2. Lac(nnpar^8(m;et 
S. LeJu0Binai^ 

Sur la plan jnnBtlqua, revaluation 8«Ei k la prise da d^dMons; alle <toit doxK: of- 
fiir da llnformaticm utile auxinterv^ianta. Lesddddsurssefondsntsurles 
rteliata dhina dvsluation (^jective pour maintenir, ^arg^ ou abandonnw un 
pragrammaou laurpartidpa^on&cdiui-d. Ilva sans dira qua tmisl^d^* 
deura racfaflsidiant una preuve de r^usdte at que ch«|ue dMdeur mm 
rtostte k sa fagon. 



ui#* QuMtions pour orlenter vos idtes 

«i# Si vous avez Untanticm d'oitreiffendra uob dvaluatioDi de programme, la 
prindpala quei^im quH feut sb poser la suivante : QUI veut savoir 
quoi, et pour qudla raison? 

Existe-t-U des ressources mififlsantes (personnel, fonds, mat^el et 
temps) pour «3tr^»«3dra rdvalua^cm? 

L'^aluatiim de programme fimimlle se hmirta souvent k dsB r^stax^m Le 
terme «dvaluation» aooable managant; il arrive souvent que revaluation de pro- 

ft»in^e in^ire dm craint^ ou qu'on ch^ehe It I'dvito:. Uvm. des 
prindpaux d^fis k relever consiste k apaiser les sentiments de crainte et de me- 
flance que «isdte Texamen des jmigrammes — c'^-li-dire la crainte cpae 
revaluation n'entraine des consequences negatives. Le meilleur argument est 
sans doute de faire preuve dlionndtetd quant aux motifs de revaluation. La 
mdlleure approche est peut-#tre de faire partidper autant dlntervenants que 
posdble. 
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Les approches en matl^ d'tvaluation de programme 

Les pmesBus et les rdsultals de revaluation sont d^tmnsnte en premie lieu 
par la pmmne charged d'acciHniiUr revaluation. Vdd dnq esnnples d'ap- 
l»odu» eourantea en matidre d'evahiaUim (Barak et 1 990) i 

Tivaluatkm asde sur le reoours deaespwts^na^ qui est fondle sur 
deaavisd'eKperts. 

revaluation axle sur une enquMe men^e par un sp^ciaiiste en recherche 
qui recueille des avis. 

revaluatum axde sur des denizes, accomplie par un spedeliste en 
r e ch e rche qui recu^iteet analyse des ctoneea. 

une auto-evaluation, accompUe par les participants au programme. 

une combinaisHi de toutes Urn pos^Uitte totmi^ees d-dessus. 



Question pour orlenter vos Idtes 

Qudleai^>rodieprevoye£'V«n}seni|>lqy^,e.-li-d.qiUseradiarge 
d'aGomii^vi^evaluatiim? Sur qucnbases-vous voire chdx? 



t;v 
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Lm prc^gssus d'6valuatlon 



La prami^ro ^ispa du {ffwems d'4ivalua^ de programn^ Miute par U col- 
iecta cte dcmnto et aboutit & deux ascriptions : le «i»toi>» et le •cdei». La 
<»llecto da domim ooa^ste it racuaillir des docuxnents, to ststisUquas at das 
avia; una di^us^on das jHticessus et das mdthcxiM da coUecte do donn^ est 
pr6G«nt6e & la prochaine section da ce guide. 

La prmrdikn dasoiptioii, 8i»t cells du «pr6vu^ e^ Ur^ des <kxniments da plani 
fication initiaux, par oample la pn^jxi^tion de progranum, lea prdvisiona 
budgteaires, la ddtermination des besdns, le mat^el de commerdaUsation, 
Imressoureashiunaines^iimt^i^lesiidgi^ r«ganlgrainme, l^descrip^ 
ti<»i8deposte,aixi^qaateBpoBtesaffid^ UnprobltoaaMcan^etun 
programme a 6t6 6tabli dans le but de le recUfi^. En consequence, las docu- 
ments de planification doivent con^rendre las 61toents suivants : 

• Un 6mmc6 de I'dbjet du jarc^amme, c.-A-d sa raison d'etre. 

• Des details au si^et du lieu, des calendriers, du nombre 
d'apprenants, du personnel et du financement 

• Las olyoctiflB du pn^ramme, c-it-d. 1^ rdsultats prdvus pour les 
Studiants ^ Ira responsables du financament. 

• Una description de la clientele, y <»mpris la determination de ses besoins 
et de sea competences, ainsi que les crittos de selection. 

• Les compOTtements attendus de la part des apprenants k le fin du 
pn^pramme, c.-&-d. les prindpaux cAjjectifs d'apprentissag^e du 
pfUgrainma* 

• Le materiel, les methodes et les plans didactiqura qui permettront aux 
apprenants d*atteindre les oiigectifis du programme, c-k-d, les olyectifs 
educationnels. 

• Une description du personnel enseignant, les crit^es de selection, leur 
niveau de competence anterieur au programme, et le niveau d© 
competence prevu k la suite de toute formation interne. 

• Une description des fonctions du personnel affecte au progranune, ainsi 
que le nombre et les types de p<wtes. 

• Une lists descriptive des fonctions de soutien admlnistratif, des 
installations, du material et de requipement. 

• Le plan financier. 

• Les documents strategiques, c.-^-d. les plans k court et k long termes. 



A partir de ces renseignements. U est possible de dtoire IHd^. c*est-A-dire les 
nonn^'acceptabUltfi ou de rduwite qui ont 6t6 6tabUes au d6part. 



Question pour orienter vos id6es 

1^ fitoB-vimsenmesureitorecueillirtoiiBcesrei^ Quecknt-on 
pensw dHm pnjgramme M c»taix» de cas rensogneiM 

dtreobtenus? 



La seconde description, sw* cdto (to la rtaUt6 MtueUe, s'obt^t m grande par- 
UeparlaiDeaiiroellacoltoctededimiiSes. Cestui cefi«^qi»lMOiitUsde 
csdlectededoniifiee«itowai;«ij«i(vi^la8ertion4). Certains mwdgMuents 
cm esrtaines domite simt tirte directemenft de df)cument8, tandis ^ 
sent <*tenii8 par la ^ de sondagw d'avis perswanels, ou «wc«B par le calcul 
destatistkiuea CkrtainesdcmntestatifflllquesBarfmtmcluBesdanslase- 
«Hidedescriptioii,n<toam«itle8taia<tepartidpatiim,l^ 
les tauz de rradffiMit to im^dns, les taux d'adiftv«XMt par p^ode, ainsi 
qtted'aatmd(auiteji«6esii6eemaire8. En foit, blendes gens laroient que le 
procesRSB tiaborato de secis»le dwerii^cm r^prtente r^uation de 
pnigrainni^ a ne tfagit pourtant que «te la jaoi^tee 6fc^ smt celle ^ la col- 
lect deckmi^ea 

Une fins que Ira d«ix descriptions sont con^tet^ la prochaine 6tape consist© 
iL&ireiacoinparaiscm. Lada-wr^JtSondesdromstaiwraactudlespeutitre 
compar^e k IHm ou Tautze <tes dldmsnts suivants : 

• I^iu]niie8iiitero8qui(mtti»itaux6I^Jecti& 
Tepeisess!bmA la r^n^te pour lee ifivars int^renants. 

• Lesn(mesrdatwe8,c'est4i-<yrecdUesquis'appUquent&dra 
pn^rammes comparables. 

• Lesnonnesab8iduesoulesx»»ittesd'ean^«ticequir^iltentde 
rejqj^riance, de la consultaion et du consensus des experts du domaine. 

A ce jour, aucune nc»ine abs<^e n'a 6t6 6tabtia pour les programmes d'alpha- 
b^tisation en miUeu ite travail; timtefms, la lists pr6sent6e & la section 2 i»ut 
Streutile, Ilestpresqusaussidiffidledefaireitesconiparaiscmsavecd'autres 
programmes, car peu de rappc»is devaluation sont publics. La plupart des re- 
sponsables de programme doivent se saUsfaire — ils le sont habituellement — 
d\me Gomparaison interne. II s'agit de Ttope d'ana^ des dcmn^es, c-k-d. 
Texamen des donnte de manite k pouvoir en tir^ des conclumons uttlra. Le 
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prf^pTBSune a-t-il att^t ses ol^^ifs? Les rdsultats prdvus correspondent-ils 
aux r^sultats rSsls? Quelles cox^umons peulnm de la r^usmte du pro- 
gramme? Quels (mtdtd las pokitsfc^rtseties points fiubies? QueUes 
reonmiULiidaMdQsa-t-mifidtraenvuedeiiKMti^ Leparrain 
devrait-U coayn w k financer le jsrogramma? 

La comparaisoii a poor but de d^er las hearts qid existent en^ 
pr6vu et ce qui v^tablexnent arriv^ ^ entre ce qui s'est produit et ce qui se- 
raitMM. Or.lesfcartsnesKitpflstiwsunslgiwdeprdbltea. Lesdonnto 
Gcmoemant les torts stmt mnpkP^6&B eomme ratour dlnformadon par les re- 
sponsables de progranune, Boit de manidre 0Dmativ8 pour corr^ 
faiblmes, st^t de fa^on rtopitulaUve pour p(»rter un jugement sur un pro- 
granune. 

U4Aap9 finale du processm d'dvaluation de programme connste k porter un ju- 
gement rationnel sur racce{^abillt6 ou la valeur d'un programme. Danslecas 
de rdvaluatlcm ifun programme d^66xueaikm, 11 s'agit de determiner dans 
qudle mesure il faut tenir oompte des ni»in»e rriatives et/ou des nonnes abso- 
liira qui ont 6td dtablies, pour ce qui est de decider all y a lieu ou non d'adopter 
des memes administratives (Stake, 1967). 

Les jugen^nts et les recnmrnnndations fbrment ime grande partie du rapport 
d'dvaluatbn. 



Le rapport d'6valuation 

Lee rteultats cf une procdduze d'dvaluation d<»ve3it dtre communiquds de fb^n 
eppanfjpsciie aux hitervenants ooncemte. Le ccmtenu et la frame du rapport doi- 
vent tenlr compte des braoins des intervenants. 

Le contttiu d^m r^>port d'ev ablation pent dtre structure plus ou moins de la 
manidre suivante : 

1. Aper$u du programnm et de Tdvaluadon 

2. Rensdgnemenk) de base sur le programme 

• Origine ^ ju^ification 

• Bute et ol^jee^ 

• Caract&ristiques 

• Etudiants 

• Personnel 



3. l^scripUon de T^nraluaUon 

• Objet 

• Critdresdsmesure 

4. Rotate 

5. Discussion des r^Utats 

6. Coxidusicms et rBowiiinaTOiatlmw 

• coQcernantloprograniora 

• concernantlaproehained^uatioa 

Le n^pport d'dvalua^ dsA% aborder une partie ou la t(^t6 des questions sui- 
vantes (if aprto Smith et St Jolm, 1987) : 

1. Quel est le n^illeur moyen do coinprendre le jHt^amin©? 

• Quelertlecaractdreoalanataroduiaiqpramiiie? 

• QuflUeeaontlescoiiditioiis^lesaetivitdsduprogramxne? 

• Quete8(mt]e8«^euxprindpaux,le8thtee8,le8Confiitsetles 
coxnpromis? 

• Qu'est-cequisemblehnportant? 

2. Comment peut-on am61x(ffer le programme? 

• Lesressourcessont^esutilistodefi^optimale? 

• Aquel«idn^tadste4-Uunxiianquecri(^ederetourdW<»mation? 

• Quelasontleeobstactosliramtiiorationduixt^amme? 

• Qu^essont 1m Subleases cridqim? 

3. Quels sont les r6sultats du i^ogramme? 

• Quels object sont/ne sont pas r6all8^? 

• Quels «^ts secondaires» le pn^praimne semble-t-il avoir? 

4. Quelles diff^nces importantes les activitds ou les ^ets du prc^ramme pr6- 
sentent-ils? 

• Dans quelle mesurele programme a-t-iluneffetdifiP§rentsursescUv^ 
groupes clients? 
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• DequeUefagonlfi programme a-t-U^lu6aufildu temps? 

• I>eqaeUemBiiidrelesre88(mrca9,le8 8«rvicffiioulesrd9ultat8du 
programme diff^nt-Us sur le plan g^ographique? 

5. Dans quelle mesure le programme est-U valable? 

• En gfo^ral, dans queUe mesure lepn^renmieest'ilefficace? 

• t,eiarogramnM^t41r«3table? 



4. La collecte et I'analyse de donnas 

L'dvahiatioii de {xrogramms esiga la eollecfe d*uxie grande quanUtd dlnibrma- 
tiofitptf dhrmmoifexi^ii^acimedABdl^peBi^^ Lea 
sfmrcra dlnfbrmaitiim acmt nimilnmiBm 

thodes de odlwto d0 dimiites (ti^ Ui sec^ 6). Les g!nir«8 de doni^ 
remlUir flen^^ortenl 8(^t box dreon^Biifies envinnmementalee ayant servi 
de base k la er^on el au mainMen du {Hwgra^iime, aoit au programn^ lui- 
mtoie. * 

Lea dbers facteurs reii^ & T^ivironnenient aont lea suivants : 

• LeaexiginieeBmxnati&rad'alplMbddaaticmd^mempIoidfmn^. 

• Le niveau tfalphab^tiaation dea faravaiileurs par rapport & leur emploi. 

• Leniveand'alphabdUaatlcmgtodr^deaaatiploiy^ 

• Le8dbaogenientoi»r6va8«icequiconeeraelraen^ 
d'alpbabdtiaa^on et le nivemi de compdtem^ employes. 

• Les reasources dispooibles pour mettre en (Buvre et maintenir un 
programnffii c^eirtnlNHra : 

• lea reaaourcea finandtoa 

• lexKanbred'i^iraiantadventuelB 

• TexpertieehmnaiBeetleaFeeacmrceaniat^elles 

• rengagranmit de Templ^feur et dee employSa k garantir la r^uaaite 
dii progranune. 

Lea divera facteurs relite au programm compr^ment : 

• Lemmntienetlerendementdea^udianta. 

• LeooQ^enudeacoura^lemat^ddldaeticiue. 

• La concei^on dea m^thodea (f enadgnement et le milieu d'apprentiaaage. 

• Laeomp6t«icedupersimneleii8mgnant,dupmonndadiniiii8tratifet 
du permmn^ de aoutien. 

• L'^cadt^du programme. 

DifiB6renta outila de collecte dee domi^ conc^mnt lea divm facteurs reli^ h 
Tenviromiement et au prc^pramme sont {»^nt^ dans les pages qui suivent. 
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Coilecte de donntes com»mant Ie9 tacteurs rellfe 
di renvlronnement 



nhab^tisat^T^ un (ou i pluaimini) empms) ^^f^^J^^ 



L'amplfly^ le supavisair imn^cfial, VemgkPt&xt. 

Vdrificatioxi en maU^ d'alphab^tisation. 
Ontils: 

• Enqudt6/8ondageaui»tecte8«nplogr68 

• EnqufitQ^mwv^ffCP" '>"F'^ aupOTviaeur ^ de remploy«ur 

• (HwwvationB&deafinadev&ifiiaticmettf^daimaae^ 



BteuUato: 

• UneUftedest^earfidlesdelecfcure/tf Venture devantservb 
r^valua^ du niv^iu ifaliAabfitisation dea employ^. 

. Cimii«i8Bai^iteBewgM«»8r6rilwenmaatotf^^ 
senrlr & dea fina de fi(»rxiiatloou 

• CimnaiaaancedelliiSKfftaiieederali^^ 
raecomitoam^t itea «a miUTO de travail . 



Ana^ reU6e k I'alj^irfj^tiaation «i miUeu de travaU conjue par : 
CASAS 

(Compreh«imve Adult Student AaseMment System) 
2725 Congreas Street, #1-M 
San Di^CA 92110 

Processua d'analyae de t&ches d'ali^iab^iaation : 

Drew, RJl et Mikulecky, U (1988). Haw to ffOher and dmfelop^spe- 
eifwUter^xy materials for bask skilhinstr^ Bloonungton, IN: 
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Indiana Univ«ndty, Sdiool (^Education, Office of Education and Trai- 
ning Resource 

Procesam (f analyse de tdches (f al{^abdtisation et dWplcn : 

Ti^lor,M.C.etL0we,OJt(199O). Bam ^t^^wung— a launch- 
jiodf/br auccm in £to wori^m. Ol^wa (Ontario) : CoUdge 
Alfonquin, D6partement de fbrmalion de base des adultes. 

Uste de viri&saticm pour i'anaiyse des tdd^ ei la dlftenn^ 
besc^ns: 

WoHter^ntred l&sming: A union guide to workjdace literacy, ofiert 
par: 

Guide Orders 

AFL-CIO, Human Resources Denrdc^iment In^tute 
81S — 16 Strert N.W. #405 
Wtthingtcm, D.C. 20006 

Ptoceams (f analyse des tSdt» : 

Camevale, A.P^ Gainer, UJ. et Mdteer, A^. (1^). Workplace basics 
PxumngnmnuaL SanFrandsoo: Josssy-BassPublishm. 

Mode de ^ennina^cm des beswns OTganiwatSonnels congu par : 

SueWau^ 

160,rtteBusldn 

Ottawa (Ontario) KlY 4C1 



D^enniow all eariirt© un tort entre les esigKicoB en xnatl&» d'alphaWtisa- 
tiim T^6ea k VmxspM e/t le niveau d'alphabdUsi^on dss emplqyfe. 

Idnsyfier les i^yprenants dvoatoelB. 

Les toTOdlleur8/emi>l<gr& visfis, les sajfemseurs des empl<iy68 et lea pairs, 
M^tbode: 

• 6vaiualiondureiidffinent 

• Recherdied'mMiudle 

• Ddtermination des bosolns. 
OutSfap: 

• Tests delectun/d'6eritiiz8g^:^mB 

• Tests (telectureAftoituxerditeaumilkrudetra^ 

• EntarerasineBtoaiiprtsdeBwnployA^cksmiparyiw^ 

• Obsarvatiims&desfiGQsdeTMficatifm^cr^clairdfiMment. 

• UneUstedepartidpantsdventuels&im programs^ dans TdventuaUt^ 
oCi ces defniors chi^siraient de partidpor. 

• UnellstedlndividuBpouirantfaris^ungnMpedea^ 
demiers ne participent pas an progranrnxe. 

• Competences deiranier niveau pour les todiantsii^ 

nuAm au test pr^alable visant k (^minisr le remlement ult^eur. 

EaBemFles iToittils s 

• Prom individudd'analysei^de&ralphaMtlsation en milieu detrairail 

CASAS 

(C(»nprdiensive Adult Student Assesinnent System) 
2726 Cox«m Street, #I-M 
San Diego, CA 92110 

• Systems cfanalysede competences prde^onndles: 

Educaticmal Data Sy^ems Inc. 
22720 Midiigan Ave. 
Dearborn, MI 48124 
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D6tenxdn«r si les employ el ron^dqyeur (mt heamn cfun programme de for> 
mation ou slls souhaitent quHm tel inrogramme soit 4tabli. 

Ddtenmnor Tanqileur et le genre de formation nficessaire, du point de vue de 
VmisploymaT, de VmnplsfA et du super iseur imm^at. 

I^srminffir les param^tres des programnms ^vwitoelB, par exemple les calen- 
driers, la dlqpfm&ilitd, I'atUtude, les s^ces de souti«i. 

Source: 

Les employ^ I'emplogreur, les suporviseurs. 

Rediercbe d'enqudte. 
OutUs: 

• QueeUonxiaire 

• Entrevues. 
R^soltatB: 

• Coonaissance du genre (te formation que d^Lre rOTaploy6 et/ou 
I'eoc^E^kQfeur. 

• D6taUsau8i^dec»quelWjuge(^timallir6g»ird(tesprogranmies^ 
EsenqileB cFmitib s 

• EnqudteoM^ldntesur les b^dns deformation: 

Marii,JX.(19^. l^ABSdoU — bcmc^iucatiimin^wn'kplaee. 
WadUngtcm, D.C.^ Anamri^m Araodation for Adult and CkmUnuing 
Bducatiun, Budness and Imiustiy Unit, offiart i»r le ERIC Reproduc- 
tion Service. 

• Ettciudtemirlesbesoittsdesap^miants: 

A guide to setting up literacy pn^rcms in the workplace, 

Alphab^tisation Laubadi du Canada 
Burrau national d'Slaboration 
CJP. 298 

Bedfi^ (Qu^) JOJ lAO 

• D^erminationdesbesoinsdesentreprises: 

A guide to setting up literacy prt^rams in Aewori^li^. 
Alphabdtisation Laubach du Canada 



• R^pmtoiredefonnationpourremployeur: 

WorkerHxrUred teaming: A union guide to workptoxe Uter&y, 
ofifertpar: 

Guide Ordm 

AFLrCIO, Haman Rosmxrcas Develi^iiieiit InsUtute 
815 — 16 Stre^ N.W. #406 
Washington, D.C. W006 



R^sourcBs nicessaim etressources existantss 

Ob(}ei: 

D^lttmiiiflr les mamarces od^antes et 1^ ressources nScessaira pour un pro- 
grams d'ali^ab^tisatioiif en ce qui conceme : 

• iMbttKnnsdelocaux 

• lesremurMfinaiici^i^s^huiiiaines 

• les engagements pris par les travaiUeurs et 1^ employeurs en mati^e de 
temps 

• le mat^el didactique et le mat^el de promotion 

• raideprc^m^ons^e. 
Sources 

L'OT^oyeur, les admlniste^teurs du programn» et les responsables du flnan- 
<Mntmt» 

Recherche d'enqudte. 
OntUss 

Que^onnaires (omployeur, autres pn^;rammes» organiaations profeanon- 
n^ea). 

R^soltata: 

• Connaissance <^ conditions optimal^ rdatt^ aux prtsgramm^ en ce 
qui coneeme les ressources et le soutien. 

• Coimaissance des ressources existantes et possibility de determiner si 
cell^-d sent sufiBsantes ou mm. 

BfiSBOunsais 

Secretariat national k ralphabetisation 
2fi, rue Edcfy, i^te I1H15 
Hun (Qu^bM) fOA 0M5 
(819)963-5280 

Base de donnees nationals sur I'alphabetisation des adultes 
a/s Fansbawe C<^lege of Applied Arts and Technology 
CJ>.4005 

Lomion (Ontario) NSW 5H1 
(519) 659-3125 
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RassemblenMut canadien pour Mphab^tisation 
880. rue WelUngton, pito 500 
Ottawa (Ontario) KIR 6K7 
(613)563-2464 

• Qu«*lomialre98iirlai*ilo8ophia,leslnstaUatiM 
que lea sanricaa ^ 8oati«i <le8 ai^ff^iants : 

Aiiult literacy Volunteer Tutor Program Bvaluatien Kit 

Provindal Currkulum Publicationa 

a/a Opmi Learning Agenigr, Marketing Department 

C.P.d4000 

Richmond (CJoimnbie-Britanmque) V6Y 2A2 




Collecte de donniM concemant les facteurs r^els du 
pyogyafmn0 

Dtoinixierleraidement des indHdus et du pr^^ concerns k 

la fols le niveau d'alphab^tisatlon et les tdches relides & Temploi. 

Soaree: 

£tudiant, instructeur* superviseur, pmrs. 
M^thode: 

• Enqudtesurlesattitu<bs 

• Observations du siqiffivismu' 
* . itudedecas 

OntllBs 

• Plans ffessai (test pr6aIable/testpoi^;&ieur) 

• Entrevues/dbsavations 

• Donn^ concomant les r^sultats r^els du programme, en ce qui 
conoerne le niveau d'alj^iabd^sation attaint, 1^ diangensents d'attitude 
ei TanidUoratiim des ccmip^tences pn^asi^onneUes. 

• EnquMe^sttlviair Vacation des adultes: 

Dax^enwald, B3. et Valentine, T. (1984). Outcomes and impact of 
adult bameedu&iikm. New Bruiwwid^NJ:l^tgm University, Cen- 
tre ftxr Adult Oevi^bpment. 

• j^valuation du r6i»ien»nt des partidpants par les supendseurs, et 

• l^lvahiation ctesefifetssur les services par les miperviseursdtablie par : 

jOTieW.Phmppi 

Performance Plus Learning Consultants, Inc. 
7869 Godolj^ Drive 
Springflold^VA 22153 

Si 
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IhraluBtlon du rendement d^ i4>pr8nanta : 

Adult Utmcy Volunteer Tutor Program Evaluation Kit 
Provlndftl Curricttlusn Publications 
a/a Open Learning AgMicy, Marirating Department 
CJ*. 94000 

lUcfaxnond (Colomble-Britannique) V6Y 2A2 



ConUmu ctes com Bt m^riel dhtacUque 

D6t«rmmffi' quel sera le coQtenu r^el des cours et si ceux-d sont convenabl^. 

Ddtenninar la omvanance ^ I'utilltd du mat^el employ^ dans le but de &dU- 
ter rapprentissage. 

Source : 

• Le xnatdriel qui sera uUllsd (documents k distribuer, tests, examenSf etc.) 

• Sonunair«sdes cours 

• Apprenants 

• Documentation 

• Critique 
OntUs: 

• Analyse du cout«mu 

» Entarevues/questionna^re 
E^snltats: 

• Connaissancedecequtfonctionneetdecequinefonctionnepas 

• jSvaluation du mai^el didactique et du contenu ds» cours du point de 
vue de llntervenant 

Esnensptai d'outite : 

• Qu^tionnairemirle materiel diditttique: 

Adult literaQ^ Volunteer Tutor Program Evaluation Kit 
Provincial Curriculum PubUcatiims 
a/a Open Learning Agency, Marketing Department 
CJ '.94000 

mchmozm (Colombie^Britannique) V6Y 2A2 
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dpm^ption de$ nrnUitxtos d'enselgnement et milieu d'spprentlsmge 

Objet: 

D6tenmner si les approches et les mithodes d'enseignement sont appropri6es. 

DStenninw la nature du milieu de formation et la mesure dans laquelle celm- 
ci est propi(» k Tapprentissage. 

Source: 

Le personnel du programme et les apprenants. 
M^thode: 

• Enqudte 

• Studedecas 
OntUs: 

• Qu^ionnaire 

• Entrevue 

• Observations 

• Connaissance du rapport entre Tenseignement et Tapprentissage. 

• Connaissan(» du besoin de modifier ou d'am^liorer les approches en 
matidre d'enseignement. 

• Connaissance desa^>ectsdu milieu deformation qui doiventdtrechangi^s 
ou am^cs^ afin de rendre oelui-d plus propice k Tsq^prentissage. 

Exemplec d'outUs : 

• Questionnaire sur les stx^it^es d*enseignement : 

Adult Literacy Volunteer Tutor Program Evaluation Kit 
Provincial Curriculum Publications 
a/s Open Learning Agency, Marketing Department 
CP. 94000 

Richmond (Colombie-Britannique) V6Y 2A2 
« Guide d'apprentissage ax^ sur les travailleurs : 

Worker-centred learning: A union guide to workplace literacy, 
ofTert par : 

Guide Orders 

AFL-CIO, Human Resources Development Institute 
816 — 16 Street N.W. #405 
Washington, D.C. 20006 . 



Objet: 

Determiner la competence du personnel enseignant, du personnel administra- 
tif et du personnel de soutien. 

Source: 

Les membres du personnel, les Studiants. 
M^thode: 

Appreciation du rendement. 

• Evaluation deTenseignement par l^etudiants 

• Auto4valuatdon de I'enseipiement et evaluation par les pairs 
B^sultats: 

• Connussance du niveau de competence du personnel. 

• Connaissance des domaines dont il faut tenir compte et de ceux qui 
exigmt une amelioration. 

• Connaissance des r61es et des fbnctions veritables du personnel. 

• Determination des domaines oCi il existe des probiemes. 
Esemples d'outUs : 

• Exemple de formulalre d'appredation du rendement des instructeurs : 

Camevale, A.P., Gainer, L,J. et Meltzer, A.S. (1990). Worl^lace basics 
training manual. San Frandsco: Jossey-Bass Publishers. 

• Questionnaires sur Tadministration, la formation et le perfectionnement 
du personnel, ainsi que la planifi^tion : 

Adult Literacy Voltmteer Tutor Prc^am Evaluation Kit 
Provincial Curriculum Publications 
a/s Open LeariU» .j Agency, Marketing Department 
CP. 94000 

Richmond (Colombie-B ritannique) V6Y 2A2 

• Liste de verification pour le choix des instructeurs : 

Worker-centred learning: A union guide to workplace literacy, 
offert par : 

Guide Orders 

AFL-CIO, Human Resources Development Institute 



815 — 16 Street N.W. #405 
Washington, D.C. 20006 



Efficaciti des programmes 

Objet: 

Ddterxniner la mesure dans laquelle le programme a utile k Tensemble des 
apprenants et k Vemploy&xc. 

Determiner le genre et la quantity de formation qui a et§ acquise par le biais 
du pn^;ramme. 

^valuer llnddence du progriimme sur le milieu de travail. 
Source: 

• Tous les intervenants 

• Registres des pr^ences en dasse, Valuations de rendement 

• Budget 
M^thode : 

• Analyse des coi^ts 

• Enqudte 

• £:tude de cas 
Outils: 

• Analyse coCit-efficadt^ 

• Questionnaire 

• En'jrevue m^thodique 

• Analyse de la documentation 

• &tude d*impact 
R^sultats: 

• Justification du maintien ou de Tabandon du programme 

• Determination des domaines ou il esdste des probl^mes 
Exemples d'outils : 

• Processus d'analyse coCit-efficadte : 

Camevale, A.P., Gainer, L.J. et Meltzer, A.S. (1990). Workplace bcxsics 
training manual. San Francisco: Jossey-Bass Publishers. 

• Questionnaire sur le flnancement : 

Adult Literacy Volunteer Tutor Program Evaluation Kit 

Provincial Curriculmn Publications 

a/s Open Learning Agency, Marketing Department 



87 



33 



CP. 94000 

Richmond (Colombie-Britannique) V6Y 2A2 

Lignes directrices sur /aluation de incidence : 
Courtenay, B.C. et Holt, M.E. (1987). Evaluating pn^am impact. Ti- 
rdde C. Kevins (ed.), Material and methods in adult and continuing 
education, Los Angeles: Klevens Publications. 
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Analyse des donnies 

Uanalyse des donn6es recueillies peut dtre orient^e en determinant les ques- 
tions qui exigent des rdponses du point de vue des prindpaux intervenants. 

Phillipi il98&) a dtabU une s^e de qu^ons relite prddsdment au milieu de 
travail, qui peuvent servir de base au processus d'ana^se d^ donn^ et au 
rapport d'dvaluation. questions correspondent au module d'6valuation en 
quatre parties prq>osS par Stufilelmm et al. (1971), qui permet de structurer 
Texamen des programmes selon le contexte, les intrants, le processus et le pro- 
duit. 

Le contexte vise & revoir et k valider le fondement et les objectifs de chaque 
programme de formation de base, k ddtermin^ les objectifs et les norznes des 
programmes, et k ddfinir les besoins d«> service, d'assistance ou d'amSlioration 
relatifis k chaque programme; k c^te fin, il y a lieu de r^pondre k des questions 
comme les suivant^ : 

• De quelle fa^on les competences de base fondamentales sont-elles 
definies? S*a^t-U d'un ^nonc^ rddigd dairement auquel tous les 
apprenants et tous les instructeurs peuvent souscrire? 

• Quelle est la conception des competences de base vehiciiiee par chaque 
programme et son contenu didactique? conceptions sont-elles 
conagnees et generalement accepter par 1^ p^^nnes faisant partie du 
programme? Ces conceptions sont-elles fondles sur des tibeories et des 
recherches 1^ jour? 

• Les (^jectifs du programme sont-ils clairement Snonces en ce qui a trait 
au developpement et renrichissement des apprenants? 

Existe-t-il un dnonce d^criptif du programme? Get enonce contient-il 
des objectifs operationnels (une description de la fa$on dont la formation 
de base est di^nsde k diverses itapes du prc^pramme)? 

Le pn^ramme prevoit-il des sous-prmcrammra visant la preselection et 
revaluation de retat de preparation, Tacquisition des competences et la 
mise & execution dans des contextes i^^fessionnels? 

Existe-t-il un plan qrstematique pour evaluer le programme? pour 
obtenir 1^ commentaires de Temployeur, des instructeurs et des 
partidpants? pour earner les besoins nouveaux et naissants, au fur et k 
mesure que ceux-d surviennent? 

De quelle fa^n le prc^ramme tient-il compte des differences, des besoins 
et des caracteristiques individuelles de d6veloppement des apprenants 
adultes? 
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• Le programme, tel qu*il est d^fini, est-il compatible avec les besoins et les 
caract6ristiques des apprenants? avec les besoins de la communaut^des 
professions qull vise? 

Les Intrants visent k determiner s'il existe ou non des resources suffisantes 
pour exploiter cheque programme, tel que celui-d est ddfini; k cette dvu il y a 
lieu de rdpondre k dea questions comme les suivantes : 

• Le materiel du programme est-il conforme au plan et aux objectifs du 
programme? 

• Existe-t-il du mat^el ad^uat pour chaque dtape du programme? 

• Le mat^ei est-il ^cace? Est-il int^essant et stimulant? Est-il facile k 
utilise? Est-il rentable? Est-il prdt & servir? 

• Le materiel r^nd-il aux besoins d'apprenants poss^ant des 
competence vari^? 

• Les apprenants p«ivent-ils fadlement trouver du materiel qu'ils sont 
ciq>ables d'utiUser? 

• Les instioicteurs ont-ils une formation adequate pour pouvoir mettre k 
execution toutes les phases du prc^pramme? 

• Les instructeurs qui se heurtent k des problems quHs ne peuvent r^gler 
eux-mSmes, parce quHs ne poss^dent pas la formation requise, 
peuvent-ils faire appel k des sp^dalistes (ps^jrchologues, experts-conseils, 
sp^cialistes en diagnostic et en resolution de probldmes, personnel de 
Trndustrie, 6valuateur)? Existe-t-il ime procedure pour communiquer 
avec ces spedalistes? - • 

• A-t-on recourse des benevolesou&de assistants dans le cadre du 
programme? Leur rdle est-il dairement defini? Possedent-ils les 
competences necessaire pour accomplir les tftches qui ieur sont confiees? 

• Llnstallation de formation est-elle congue et equipee pour repondre aux 
besoins du programme? 

• Le ssrsteme de tenue dea dossiers est-il complet, simple et efHcace? 

• Combien de temps consacre-t-on & la formation des apprenants? a la 
formation individuelle? 21 la formation en petits groupes? ^ la formation 
en gros groupes? 

Le processus vise k determiner si les plans de formation sont executes 
comme prevu, en examinant les types de dossiers qui sont tenus au cours du 
programme, afin de cemer tout ecart par rapport au plan de formation du pro- 
gramme, et en revoyant les decisions quotidiennes qui doivent etre prises par 
les instructeurs durant le programme; k cette fin, il y a lieu de repondre k des 
questions comme les suivantes : 
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• Tient>on un dossier & jour sur les activites quotidiennes de formation de 
base? Ces activites refl^tent-el!es le contenu du programme? 

• Quels sent les progris accompliSf les activity de formation et les 
difficultds d'ai^rentissage de diaque apprenant? 

• Combiende temps consacre-t-onchaquejour& la formation debase? De 
quelle fa$on cette f(»miation est-eUe structure? 

• demons et les activites de formation relatives au pn^amme 
sont-ell^ gdn^alement eoctotto de fagon uniforme par les instructeurs 
qui ont des re^nsabilitds dmilaires ou qui doivent rdpondre aux 
beaoins d'apprenants de mdme cat^rie? Pourquoi ou pourquoi pas? 

• Les apprenants progressent-ils comme pr6vu? Comment fait-on pour le 
determiner? 

• Lesressourc^privuessont-ellesbeletbienutiUs^? A-t>on besoin de 
reasources suppldmentair^ qui n'ont pas ^ prdvues au depart? 

• Le personnel professionnel re(oit-il la formation interne prdvue? Cette 
f(»ination correspond-elle aux bwins du programme? 

Le prodnit vise k examiner Ira r^ltats du programme par rapport aux objec- 
tifs 6tablis, tant en ce qui ^nceme les apprenants individuels que le groupe 
des participants; k cette fin, ily a lieu de rdpondre k des questions comme les 
suivantra : 

• Les participants acquidrent-ils les competences de base qui sont definies, 
dans le cadre du programme, comme dtant les competences requises 
pour permettre aux apprenants d'ex^cuter des tSches professionnelles et 
personnelles? 

• Les apprenants continuent-ils k utiUser les competences de base 
acquises aprds avoir quitte le milieu de fcHination? Appliquent-ils ces 
competences de base k I'execution de t&ch^ d'emploi ou k la formation 
professionnelle? 

• Chaque apprenant acquiert-il Ira competent^ requises definies par 
Temployeur? Le progrds accompli par Tapprenant rat-il satisfaisant? 

• Lra apprenants utillsent-ils leun» competences de base pour resoudre 
leurs propres probldmra professionnels et personnels, uu pour acquerir 
d'autrra genrra de competencra? Jugent-ils que leurs competences de 
base sont utilra? 

• Les apprenants possedent-ils dra capacites de lecture, d'ecriture et de 
calcul de situation? En d'autres mots, sont-ils capablra de lire, de 
calculer et de comprendre lra concepts relies aux competences de base 
suffisamment bien pour accomplir dra t&chra essentielles quotidiennes 
et pour atteindre leurs objectifs personnels et de carriere? 
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• Les apprenants qui sont d^savantag^s sur le plan des competences de 
base compensent-ils de mani6r© saine et productive? 
Les rfponses h c^ questions repr^sentent I'^tepe de jugement du processus 
d*#vaiuation et constituwit le fondement du rapport d'6vaIuation. 



5. Le fondement et la justification de 
I'^vaiuation des programmes 
d'alphab6tisation en milieu de travail : un 
examen de la documentation 

La documentation portant sur Talphab^tisation en milieu de travail ne traite 
pr«isque aucunement de revaluation de pn^ramme. Ce sujet est quelquefois 
mentionn* comme 6tant l*une des dt^pes d© Maboration d'lm pn^amme en 
milieu de travail (Camevale et al., 1938). arguments les plus courants 
sont ceux en faveur de F^aluation de pn^pramme. 



Les arguments en faveur de revaluation de programme 



[traduction] 

• La plupari des ^aluateurs de programme n^igent T^pe qui consiste 
& determiner la valeurd'unpn^ramme. (Sticht et Mikulecky, 1984:36) 

• L'une des plus important^ questions ^de determiner si les cours 
d'alphabetisation pour adultes t^erta par les employeurs sont efficaces 
... la documentation k ce si^et ^ incomplete ou peu concluante. 
(Teni^yr, 1984:13) 

• La persistance de Fanalphabetlsme fonctioimel d&' is les pays 
industriaUses ^ un parfalt exemple d^ effets r^irettables qui peuvent 
S3 produire dans les sodetes qui n'ont pas etabli des mecanismes 
sufllsamment preds pour contrdler les resultats des efforts qu'elles 
deploient. (Brand, 1987:21) 

Chisman, auteur 6a Jump Start- The Federal Role in Adult Literacy (1989), 
soutient que pour venir k bout du prdbieme de Tanalphabetisme chez les 
adultes, le gouvemement des £tats-Unis doit, entre autres chos^, exiger I'eta- 
bliesement de systemes desUnes k produire d'importants gains en matidre de 
competences de base et tenir 1^ programmes responsabl^ de la realisation de 
ces gains. II semble que revaluation des pn^rammes d'alphabetisation soit es- 
sentiellement «ab8ente» di la documentation et qu'elle soit hautement 
recommandee par les experts du domaine. 



39 



I 



Affimiatlons injustifl^es ^ 

II est difficile de trouver de v^tabl^ rapports d'6valuation; cependant, les 
pretentions en mati^ d'6valuation de pn^ramme sont monnaie courante. 

• Apr^s avoir mis ©n place tin programme d'alphab^tisation, una 
entrei^ise de Vancouver en difficult^ a c»nstatd ce qui suit : [traduction] 
«Peu de temps apr^, le taux de roulement du personnel a M ramen^ h 
un niveau acc^table, la productivity s'est accrue et, six mois plus tard, 
I'entreprise a M renflou^e et est devenue rentable.* (Gibb-Clark, 
1989:B4) 

• A in sodM Levi Strauss, k HamUtmi, un i^i^sramme d'alphabdtisation 
des travaiUeurs [traduction] «... a pennis aux participants de mieux 
communiquer avec la direction et leurs coUdgu^ et de mieux 
comprendre leurs responsabilit^ individuelles. De plus, ... les 
travadlleurs sont maintenant mieux en m^ure de se prot^r 
eux-mdmes, ainsi que les autres, contre des blessiires.»» (Davis, 1990:9) 

D'^rds Ira r^sultats derenqudte sur Tanalphab^tisme men^ par la socid';^ 
Southam, Calamai (1987) a condu que les entreprises r6cup6rent cinq dollars 
on gains de productivity pour cheque dollar qu'ellra inv^issent dans des acti- 
vit^s d'am^lioration des competences. Void un extrait d'un discouro portant 
sur le programme ontarien BEST, qui met en garde contre des affir jiations et 
des promesses irrealistes ou ii\just^yes : 

[traduction] 

• Nous croyons qull est important d*dtre plus r6al;ste quant aux gains 
resultant d*une amdlior^ion du niveau d'alphat^tisation, car des 
attentes exagSryes aboutiront, avec le temps, d un affaiblissement de 
Tengagement gynSral k i^soudre les prc^l^mes d'alphab^tisation. (Turk, 
1989:5) 



Exemples d'Avaiuatton 

La documentation contient quelques exempli d'^valuations de programmes 
d'alphcd36tisation en milieu de travail, notamment : 

• Le Massachusetts Workplace Education Initiative, qui a r^cemment 
men6 une 6tude-pilote visant k ^valuer les programmes qui reinvent de 
sa competence. (BCEL, Janvier 1990) 

• Adult Literacy: Industry-based Trai rung Programs (Fields, Hull et 
Sechler, 1987), une publication du I^a'ional Centre for Rf;search in 
Vocational Education. 
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• Une Evaluation d'un programme d'alphab^tisation fonctionnelle reliE a 
Temploi, tir^e de Job-related Basic Skills: Cases and Conclusions (Sticht 
et Mikulecl^, 1984). 

• Le Lessons Learned Report (Philippi, 1989), issu du projet intitule 
Technology Transfer Partnership, qui a 6t6 entrepris de fa$on coi\jointe 
par le Meridian Community College et la soci^td Peavy Electronics 
Corporation, pour le compte du National Alliance of Business. 

• Un rapport de Mark (1987) qui d^montre que certains programmes 
am^ricains d'alphab^tisation en milieu de travail ont permis d'am^liorer 
les competences de base des travailleurs. 



Critiques et recommandatlons 



II y a eu juste assez de rapports d'Evaluation pour donner du travail aux criti- 
ques; toutefois, les prob^mes qui ont 6t6 cernds peuvent dtre Evit^s gr&ce k 
une planification ad^uate. 

• D'aprds Tenopyr (1984) et BCEL (1987), la plus grande difficult^ en ce 
qui a trait k revaluation des travaux de recherche sur Talphabetisation 
des adultes reside dans Tabsence de groupes de contrdle, c'est-^-dire que 
les realisations des personnes qui ont re$u une formation ne sont pas 
compar^es k celles de groupes comparables de personnes qui /ont pas 
obtenu de formation. 

• La dualite des objectifs — ceux qui sont axEs sur I'employeur et ceux qui 
sont centres sur I'appranant — constitue un autre probldme. Fingeret 
(1984) fait etat des probiemes que Ton rencontre lorsqu'il s'agit de 
determiner, d'encncer et d'evaluer la multiplicite des objectifs relies aux 
programmes d'alphabetisation en milieu de travail. 

• Les obstacles k la collecte de donnees constituent un troisidme probieme 
(McCune et Alamprese, 1985), par exemple le manque de temps, de 
ressources financieres et humaines, d'expertise et d'outils de mesure 
normalises. 

II existe done manifestement une serie de conditions prealables optimums a 
revaluation formelle; le temps, les ressources et I'expertise en sont quelques 
exemples. 

La plupart des organisateurs de programme affirment que leurs activites sont 
encore trop recentes pour etre soumises k une evaluation systematique. II est 
plus courant de voir de nouveaux projets destines k creer des modules d'evalua- 
tion et/ou k effectuer des evaluations de programme ii grande echelle; le projet 
intitule Adult Literacy Evaluation Project, qui vise k etablir et k analyser des 
procedures d'6valuation pour quelque soixante-dix programmes d'education 
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de base des adultes dans la rtgion de Philadelphie, en est un exemple (BCEL, 
Janvier 1990). 



Crit6res de r^usslte 

La documentation n'ofifre aucune md^ode ou moddle d'^aluetion univerael; 
par contr«, on y Utmve une foule de conseila, tant au sivjet du T»roc^sus que 
des critdres de rdusMte p«?us. L'dvaluation a esaentiellenient pour but de per- 
mettre la prise de diciaons ayant trait aux programmes, par rapport aux 
olyectife de tous 1^ d^deurs concem6s ou de certains d'entre eux. Quelles 
sont les attentes d^ employeurs et des travaiUeurs vis-^-vis des progrwnmes 
de formation de base? 

Selon le i airport du Canadian Business Task Force on Literacy, intitule The 
Cos* ofllUterapy to Bumn^ in Canada (1987). le milieu des aflFaires et Hndus- 
trie mesurent les coCits de Tanalphab^tisme en fonction des entires suivants : 
la perte de productivity; la m^iocritd et rm^galitd dans la quality des pro- 
duits; Texcte dlieures de surveillance; llnc^adt^ des travailleurs d'acqu^rir 
une formation ou d'obtenir de Tavancement; 1^ probl^m^ de moral et d'absen- 
t^ame. II smit done It^que de mraur«r le degr4 de r^ussite des programmes 
selon ces mtoes crit^res. Houston (1990) soutient que les employeurs peu- 
vent avoir des attent^ conq>lexes, comme la stimulation des ventes, la 
satisfaction de le client^e et le profit, cm encore des a'.tentes apparemment 
simples, comme la ciqmcitd des travaUleurs de prendre eux-mtoes des d^- 
^ons — aucune de ces attentes n'est fadle k ^valuer. Poxor les employeurs, 
revaluation 6quivaut k ime rnalyse coiits-avantages Crenop3rr, 1984). Ola 
n'est pas surprenant, compte tenu du fait quH ^t estim4 que les employeurs 
Canadians consacreront environ 50 millions de dollars k des activitds d'aipha- 
b^tisation de base. Mdme sH peut sembler difficile de les mesurer, les 
objectife de Temployeur k regard de la r^ussite des programmes doiveiit consti- 
tuer le premier 61dment de revaluation de programme. 

Les apprenants/employ6s formeni le deuxidme principal groupe de d^cideurs. 
L'acqiu>>:iion de competence de base reprdsente maxiifestement le premier cri- 
tere. De plus, d'apr^ la documentation, les attentes de salaries sont les 
suiv.antes : une plus grande part ^ la prise de dedsions; une plus grande sou- 
plesse; des possibilit6s d'avancement; et une plus grande securite d*emploi 
(Houston, 1^). Le programme ontarien BEST, qui est parra-ne pew des syn- 
dicate, £t non pas par des employeurs, a poxir principal but d'ameiiorer la 
qualite de vie de syndiques (Davis, 1989). Le deuxi^me element de revalua- 
tion de pr(^amme doit done etre la realisation des buts et des ubjectifs des 
apprenants. 

II se peut 6galement que chacun des autres inter tenants decrits dans le pre- 
sent docLjnent ait ses propres critferes de r6us«i cependant, la 
documentation en dit peu k ce si^et. 



L'examen de la docmnentation sur I'alphab^tisation en milieu de travail 
v^Ie principalement Tabondance de ressources auxquelles il est de plus en plus 
possible d'avoir acc^. II existe un grand nombre d*organismes, d'^ences, d'in- 
dividus et de programmes dont la fonction principale ou secondaire est d'of&ir 
des conseils et des orientations La liste qui suit ne se veut qu'un point de d^ 
part. 
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6. Les aspects techniques de i'dvaluation 
formelle 



Udvaluation de programme formelle ^ complete et souvent mtoe st^ette k 
controv«:se. On observe parfois de trds grandes diffSrenc^ dans ren^}ioi du 
terme «6valuation», dans le choix d^ mod^es et des procemis, ainsi que dans 
la pr^ntation et TutUisation des r^ultats. 



Definition du terme «ivaiuation» 



La documentation du domaine de Tadministration et de la r^forme scolaire of- 
fre diverse definitions techniques de revaluation : 

• Aux premiers stade^i de d^velc^pement de la thdorie de reiaboration des 
programmes d'dtudes, Tyler (1949) a ddfini revaluation comme etant le 
processus ayant pour but de ddtmiiner la mesure dans laquelle des 
(^jectifs sont atteints; cette definition se limite k la question de savoir si 
des objectife sont realises ou non. 

• Suchman (1967) a defini revaluation comme etant la determination des 
resultats d*une certaine activite visant i atteindre un quelconque but 
redierche; cette definition ^joute la dimension des relations causales. 

• Stake (1967) a dit que revaluation de programme exige la collbcte, le 
traitement et llnt^retation de donnees ayant trait k un pn^amme 
d'education; cette definition introduit la notion du recueil de preuves. 

• revaluation, comme definie par Provns (1969), est le processus au 
moyen duquel on convient de normes applicables k un programme, on 
determine sll eidste un ecart entre ces normra et un aspect quelconque 
du programme, et on emploie les donnees relatives aux ecarts pour 
cemer les faibl^ses du programme; cette definition introduit la notion 
de normes d'acceptabilite. 

• Selon StufQebeam (1971), revaluation est le processus qui consiste k 
deflnir, k obtenir et k foumir des renseignements utiles qui permettent 
de porter un jugement face k un choix de decisions pcssibl^; cette 
definition introduit la notion de rattribution d'une fonction precise k 
revaluation. 

Les definitions actuell&9 de revaluation de programme comprennent tous ces 
concepts. Pour des motifs d*ordre pratique, revaluation pent etre definie 
comme etant un processus de description, de mesure, de comparaison et de ju- 
gement (Brack et Moss, 1984). Si I'on veut examiner un pn^amme 
d'education, il est necessaire de le decrire d'une maniere qui se prdte k I'obser- 
vation. La mesure, c'est-^-dire le processus ayant pour but de determiner 
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r6tat et le montant. permet de fonnuler les 6nonc6s les plus observables au su- 
jet d'un programme et en rend la description plus concrete et plus facilement 
utilisable. Une fois qull a 6t6 dtoit, un programme peut dtare compart k d'au- 
tres programmes de manidre relative, & des normes d*acceptabilit6 et 
d'exceUence de fajon absolue, ou encore & des entires de r6ussite d6termin4s 
dans le cadre d*un programme particulier. La comparaison aboutit k un juge- 
ment quant k la valeur du programme; il s'agit de d^termina: si le programme 
est aussi efficace que pr6vu, all est aussi efficace que d'autres programmes du 
mSme genre, ou sll est Mceptable de quelque facon que ce soit. Le processus 
de jugement est TStape la plus mena^ante, mais il repr^sente aussi r616ment 
le plus important du processus d^dsionnel. Le facteur cl6 du processv s de ju- 
gement est le .re^nsable^ de ce jugement; les juges — les intervenants — 
sent d^terminds d'aja^ Tobjet de revaluation. 



Buts de r6valuation 

On trouve, dans la documentation du domaine de revaluation, un certain noin- 
bre de buts attribu6s k revaluation de programme formelle : 

• Decouvrir des relations durables, soit celles qui conviennent le mieux k 
I'orientation des ftiturs programme d'6ducation. (Cronback, 1963) 

• Refleter rampleur, la con^lexite et llmportance d'un programme. 
(Stake, 1967) 

• Definir, obtenir et foumir d^ renseignements utiles qui permettent de 
porter un jugement face k un choix de d6cimons possibles. (Stufflebeam, 
1971) 

Du point de vue technique, revaluation formelle ^ystematique procure une 
base de renseignements au siyet d'un programme, d*un systtoe ou d'un pro- 
duit; elle peut etre adaptee aux b^ins de donnees, au fUr et & mesure que ces 
besoins surviennent (Stufflebeam, 1971). A cette fin, revaluation peut se faire 
de fafon cycUque et continue. Stake (1967) soutient quTl est necessaire de te- 
nir d^ documents s»vant k con^gn«r les causes et les effets, de mtae que les 
rappfoia entre les buts et les realisations, et que ces documents devraient ser- 
vir k promouvoir radoption de mesures, et non pas k faire obstacle celles-ci. 
En definitive, revaluateur souhaite pouvoir communiquer, c'est-^-dire infor- 
mer, instruire, inspirer, stimuler ou, d*une autre maniere, avoir un effet 
favorable sur les personnes vise^ (Smith et St. John, 1985). 

Sur le plan pratique, revaluation a pour but de servir k la prise de decisions; 
par consequent, eUe doit apporter des renseignements utiles aux decideurs, 
c'est-ii-dire les apprenants, les instructeurs, les administrateurs et les par- 
rains. Cheque intervenant a ses propres raisons de vouloir appuyer ou 
accomplir xme evaluation de programme formelle; ces raisons sont reliees en 
grande partie k des facteurs de temps. L'evaluation formelle peut se faire k 



trois 6tapes du processus d^cisionnel : avant la mise en oeuvre du pn^ainme» 
c'est-k-dire k Tfitape de planification; en noiars d'exploitation du programme, 
c'est-&-dir8 k Tdtape de mise k execution; et k la fin du cycle de pn^amme, 
c'est-^-dire k V6ispe d'ach^ement. D'apr^ Stufflebeam (1971), le choix du 
genre d'dvaluation est fbnction de la d^sion qui est requise. 

1. Des decisions de planification sent requises pour d^nir les objectifs du pro- 
gramme. 

• L'6vaIuation du contexte sert k d^nir le milieu visd» k dicrire les 
conditions souhait^ et relies ayant teait k ce milieu. It cemer les 
besoins insatirfaits et les possibility inexploit§es, et k diagnostiquer les 
probldmes qui font obstacle k la satisfaction des besoins et k 
I'exploitation d^ possibilitds. 

2. Des decisions d'organisation sont requises pour ^laborer des proc^ur^. 

• L'^aluation des infants procure des renseignements qui £«rvent k 
determiner la fagon dont les resources doivent dtre utilise pour 
rdalisOT les objefAifs du projet, en cemant et en ^aluant les capacitSs 
ptttinentas de Torganisme responsable, les strat^^ k adopter pour 
atteindre les objects du projet, ainsi que les plans de mise k ex^tion 
de la strat^e ch oime. 

3. decisions d'ex^Uon sont requises pour appliquer, contrdler et am^lio- 
rer les procedure. 

• U^aluation du processus sert k obtenir un retour d'information continu. 
L'objectif est de dtoler ou de pr^ir les d4fauts touchant la conception 
Gu la mise k extotion des proc^ures, et d'onenter le choix et Tadoption 
des changements nScessaires. 

4. Des d^isions de reqrclage sont requises pour ^valuer les r^ultats et ado- 
pter des mesures en rdponse k ceux-d. 

• L'6valuation du produit sert k mesurer et k interpreter les rdsultats, non 
seulement It la fin du cyde de projet, mais axissi souvent que n^cessaire 
pendant la durde de celui-d. 

Le but de revaluation e^ egalement relie k sa destination, c'est-&-dire les 
genres de dSdsions qui sont requises. revaluation peut avoir un but formatif 
ou recapitulatif; revaluation formative sert k eiaborer, k modifier ou k ameiio- 
rer un programme, tandis que revaluation recapitulative a pour but de rendre 
un Jugement absolu au st^et de la reussite du programme. L'un ou Tautre de 
ces deux genres d^evaluation peut Stre mene k n'importe <^el moment, selon 
ce que dictent les drconstances; cependant, revaluation formative est habi- 
tuellement menee durant le cycle de programme, ou dans rint^^alle de cycles 
coiu'ants, dans le but de cemer les points forts et les points faibles. revalua- 
tion recapitulative est generalement menee k la fin d'lm cycle de programme, 
afin de determiner ravenir du programme. Chaque intervenant peut invoquer 



des raisons pour prendre des decisions informelles de nature formative ou re- 
capitulative au si^et du pn^amme, ce qui arrive d'ailleurs souvent. Les 
d^sions de nature formelle r^sultent la plupart du temps d'une Evaluation 
fonnelle : le recueil de preuves, r^tablissement de comparaisons et de juge- 
ments. Leoul^butsdHme Evaluation de programme formelle serventi 
determiner le genre de renseignements ou de donnEes api^^priEs & recueillir, 
les methods et les outils & uUUser pour analysor les donnEes, ainsi que les 
moyens k pnmdre pour rendre compte d^ donnE^. 

M6thodes et outtls de coHede de donntes 

II existe une vaste gamme de mdthodes et d'cmtik' qui peuvent Stre employes 
pour recueUUr des renseignements au si^et d^in prcgvamme. Ces mEthodes et 
ces outils ne sont pas tous nEcessairement utilisid>les ou a^propriEs; le choix k 
faire depend du but visE par TEvaluateur. Le tableau qui suit prEsente, sous 
une forme simpliflEe, queiques-ims des choix possibles (Smith et St. John, 
1985:18) : 
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Outiis 


M6thodes 


Buts 


Enqudte 


Enqudte-reportage 


Suivre son intuition, 
decouvrir de nouveiles 
pistes 


Enqudte approfondie 


^tudedecBs 


Sonder, comprendre 


Tdmoignages 


Audiences de comit^ 
Examens en comity 


Recueillir les 
tdmoignages et les points 
de vue de divers inter- 
venants 


Obsertration 


lltudedecas 
Phdnomdnoloi^e 
Evaluation de la presta- 
tion des services 


Obtenir un «instantan6» 
de la rdalitd; dScouvrir 
des tendances 


Enr^strement et suivi 


Enqudte-reportage 
Antecedents I^slatifs 

- 


Fournir d^ preuves h 
Tappui des antecedents 
de la question ou du 
programme ou en faire 
unexamen 


Test de rendement 


Conception 
experimentale 


Determiner si des 
groupes sont differents 
sur le plan statistique 


Examens op^rationnels 


Evaluation du produit 


Mesurer la qualite du 
rendement 


Enqudtes et question- 
naires 


Etudes de marchd 


Determiner la 
repartition de I'opinion 


Photographies 


Photographic 


Captiver des images de 
larealite 



V 4 



Analyse des donnees 



Les diverses fonnes de donn6es sont analyst de fagons diffdrentes. Encore 
une fois, void un tableau qui pi^sente, de manidre simplifl^, les choix possi- 
bles (Smith et St. John, 1985:19) : 



Outils 


Mdthodes 


Buts 


Test d'analyse des fac- 
teurs (test de Student) 


Analyse statistique 


Determiner si les 
diffi^nces c^serv^ 
sont signmcatives sur le 
plan statistique 


Analyse des coC^ts : 

- faisabilitd 

- emcacite 
' utiUtd 

- avantages 


Analyse des co{^ts 


Determiner si les 
pn^rammes sent 
realisable, ou mesurer 
les coi^ts par rapport aux 
rdsultats 


Analyse opirationneile : 

• affectation 
- transport 

• attente 


Recherche op^rationnelle 


Determiner I'utilisation 
maximale des resour- 
ce; minimi ser les coCits 


Trac6 en boftes 
Transformation des 
fonctions 

Afiflchage arborescent 


Analyse pr^Ununaire des 
donndes 


Decouvrir les liens et les 
tendances que dis- 
simulent les donnees 
accumuiees 


Cxdocode 

Analsrse des tendances 
apparent^ et des sec- 
teurs SQciaux 


Mdthodes gi^ographiques 


Illustrer la repartition 
spatiale de variable 
d'un programme 


Analyse matrideile 
th6matique 


Critique litt^raire 


Cemer le themes 
predominants 


Analyse des :x)ncepts 


Philosophie 


^claircir la reflexion, le 
langage et le idee 


Analyse du contenu 
Suivi 


Analyse des documents 


Fournir de preuves h 
Tappui de thdme et/ou 
une hypothdse 
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Outiis 


Mdthodes 


Buts 


Compte rendu 


Evaluation de la presta- 
tion des services 


Farvenir k un consensus 
k r^ard des perceptions 


Competence 


Critique 


Fournir des analyses et 
d^ avis personnels et 
d'eiq^ert 


Audiences 


Audiences de comitds 
gQuvemementaux 


Faire la synth^ des 
preuves dans un cadre 
ouvert et public 


Juiys 


Proc^ures en justice 


Juger la preuve dans le 
contexte de t^moignages 
contradictoires 



OutHs pour communiquer les r6sultats 



Outlls 


Mithodes 




Prose narrative 


R^tdefaitset 
dvSnements 


Retl^ter ia r^alite, le 
caractdre humain du 
programme 


M6moires 


Joumalisme 


Communiqiuer les faits 
sailiants au moyen de 
grands titres 


Graphisme 


Arts/con(^ption 


Presenter llnfonnation 
de fa^on claire, approfon- 
die et graphique 


Cartes 


G^t^aphie 


lUustrer les rapports au 
mcyens de cartes 


Photographies 


Photographie 


Employer des 
phot(^raplues pour don- 
ner une meilleure 
impr^ion de la realite 
du programme 


Exposes oraux 


l^valuation de la presta- 
tion services 


Presenter les r^sultats 
au moyen a escposes 
oraux 


Audiences 


Audiences de comity 


Printer tous les 
tdmoignages et toutes les 
preuves de fagon publi- 
que 


Vignettes 


iltude de cas 


Prtontation par ^it de 
scSnari^ typiques sous 
forme sch^matique 



ic. 



L'^aluation de programme fonnelle est & la fois complexe et assists par la 
multitude d't^tions et de proc^sus existants. Cependant, une fois que le but 
de revaluation a M dtabii, bon nombra des dddsions deviennent dvidentes. 
Chaque Evaluation de programme peut dtre adapts de fa$on pr^se et est 
done unique. 
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